Skip to content

Releases: Oneflow-Inc/serving

Version 0.1.1

18 Mar 17:02
8c63805
Compare
Choose a tag to compare

新特性:

  • 自动生成配置文件:只需要给出 OneFlow 模型路径而不需要手写 Triton 配置文件就可以进行部署 #18

Version 0.1.0

18 Mar 16:42
2cc89a6
Compare
Choose a tag to compare

OneFlow Serving 的第一个版本,实现了 Triton OneFlow Backend,并提供了开箱即用的 Docker 镜像

用户可以在 Python 中执行 flow.save(graph) 来同时保存模型权重和 MLIR 格式的计算图,从而使用 OneFlow Serving 进行高效部署。

OneFlow Serving 支持自动使用 TensorRT 和 OpenVINO 推理 OneFlow 模型,无需模型转换(基于 OneFlow XRT 模块)。

具体使用方法可参阅 README教程,并欢迎体验 OF 智能云上的项目