Releases: Oneflow-Inc/serving
Releases · Oneflow-Inc/serving
Version 0.1.1
Version 0.1.0
OneFlow Serving 的第一个版本,实现了 Triton OneFlow Backend,并提供了开箱即用的 Docker 镜像。
用户可以在 Python 中执行 flow.save(graph)
来同时保存模型权重和 MLIR 格式的计算图,从而使用 OneFlow Serving 进行高效部署。
OneFlow Serving 支持自动使用 TensorRT 和 OpenVINO 推理 OneFlow 模型,无需模型转换(基于 OneFlow XRT 模块)。
具体使用方法可参阅 README 和 教程,并欢迎体验 OF 智能云上的项目 。