README.md

简体中文 | English

特性 | 快速开始

PaddleMIX应用示例基于paddlemix、ppdiffusers和paddlenlp开发，简单易用且功能强大。聚合业界优质预训练模型并提供开箱即用的开发体验，覆盖跨模态和多场景的模型库搭配，可满足开发者灵活定制的需求。

快速开始

请先确认是否已安装 PaddleMIX 和 ppdiffusers

1. appflow 依赖安装

pip install -r paddlemix/appflow/requirements.txt

2.一键预测

PaddleMIX提供一键预测功能，无需训练，这里以开放世界检测分割为例。直接在终端运行如下命令，即可完成模型推理。

>>> python
>>> from paddlemix.appflow import Appflow
>>> from ppdiffusers.utils import load_image

>>> task = Appflow(app="openset_det_sam",
                   models=["GroundingDino/groundingdino-swint-ogc","Sam/SamVitH-1024"],
                   static_mode=False) #如果开启静态图推理，设置为True,默认动态图
>>> url = "https://paddlenlp.bj.bcebos.com/models/community/CompVis/stable-diffusion-v1-4/overture-creations.png"
>>> image_pil = load_image(url)
>>> result = task(image=image_pil,prompt="dog")

参数说明

参数	是否必须	含义
--app	Yes	应用名称
--models	Yes	需要使用的模型，可以是单个模型，也可以多个组合
--static_mode	Option	是否静态图推理，默认False
--precision	Option	当 static_mode == True 时使用，默认fp32,可选择trt_fp32、trt_fp16

特性

开箱即用的工具集

跨模态多场景应用

开箱即用的工具集

Appflow提供丰富的开箱即用工具集，覆盖跨模态多场景应用，提供产业级的效果与极致的推理性能。

跨模态多场景应用

应用名称	调用模型	静态图推理
视觉语言对话（Vision-Language-Chat）	qwen-vl-chat-7b	🚧
开放世界检测分割（Openset-Det-Sam）	grounded sam	✅
自动标注（AutoLabel）	blip2 grounded sam	✅
检测框引导的图像编辑（Det-Guided-Inpainting）	chatglm-6b stable-diffusion-2-inpainting grounded sam	✅
文图生成（Text-to-Image Generation）	runwayml/stable-diffusion-v1-5 stabilityai/stable-diffusion-xl-base-1.0	fastdeploy
文本引导的图像放大（Text-Guided Image Upscaling）	ldm-super-resolution-4x-openimages	❌
文本引导的图像编辑（Text-Guided Image Inpainting）	stable-diffusion-2-inpainting	fastdeploy
文本引导的图像变换（Image-to-Image Text-Guided Generation）	stable-diffusion-v1-5	fastdeploy
文本条件的视频生成（Text-to-Video Generation）	text-to-video-ms-1.7b	❌
音频生成图像（Audio-to-Image Generation）	imagebind stable-diffusion-2-1-unclip
音频描述（Audio-to-Caption Generation）	chatglm-6b whisper
音频对话（Audio-to-Chat Generation）	chatglm-6b whisper fastspeech2
音乐生成（Music Generation）	chatglm-6b minigpt4 audioldm

更多应用持续开发中......

• ✅: Supported
• 🚧: In Progress
• ❌: Not Supported