ERNIE-Image 本地部署教程:ComfyUI 与 Diffusers 运行百度开源文生图模型
ERNIE-Image 是百度文心团队开源的文生图模型,主打中英文文字渲染、复杂指令和海报/漫画这类结构化画面。权重可以下载到本地运行,不依赖在线额度。这篇讲清两个版本怎么选、需要什么显卡,以及用 ComfyUI 和 Diffusers 两种方式跑起来。
最后核对日期:2026-10-17。 模型参数、显存与推荐设置来自百度官方 Hugging Face 模型卡;ComfyUI 步骤来自 ComfyUI 官方博客与文档。开源项目更新快,以官方页面最新说明为准。
ERNIE-Image 是什么
按 百度官方模型卡(核实日期 2026-10-17):
- 基于单流 Diffusion Transformer(DiT),8B 参数;
- 配有一个轻量的 Prompt Enhancer(提示词增强器),把简短输入扩写成更完整的结构化描述;ComfyUI 官方博客介绍它是一个 3B 模型;
- 官方称在开源权重文生图模型中达到领先水平,强项是复杂指令遵循、文字渲染和结构化生成,适合商业海报、漫画、多格分镜;
- 因为体积相对小,可以在 24G 显存的消费级显卡上运行;
- 许可证为 Apache-2.0(Hugging Face 与魔搭社区页面均标注)。
两个版本怎么选
| 版本 | 官方说明 | 推荐步数 | 推荐 guidance |
|---|---|---|---|
| ERNIE-Image | SFT 模型,通用能力和指令遵循更强 | 50 | 4.0 |
| ERNIE-Image-Turbo | 经 DMD 和 RL 优化的蒸馏版,速度更快、美感更好 | 8 | 1.0 |
官方推荐分辨率包括 1024×1024、848×1264、1264×848、768×1376、1376×768、896×1200、1200×896。
想先看效果再决定,选 Turbo;做海报、长文字等对准确度要求高的图,可以用标准版多跑几步。
硬件要求
官方给出的门槛是 24G 显存。X 上 @Jalsmida7 也提到,ERNIE-Image 占用显存偏大,要 24G 才能跑,普及门槛不低(原帖)。显存不够时:
- 关注社区量化版:X 上 @riddi0908 分享了 unsloth 发布的 GGUF 量化版 ERNIE-Image-GGUF(原帖)。量化版为第三方发布,效果和兼容性请自行测试;
- 或先用官方在线 Demo 体验(模型卡页面有 Hugging Face 与百度 AI Studio 的 Demo 入口)。
国内下载权重
除了 Hugging Face,百度在 魔搭社区(ModelScope) 也发布了权重:PaddlePaddle/ERNIE-Image,国内网络下载通常更方便。ComfyUI 用的重新打包文件在 Hugging Face 的 Comfy-Org/ERNIE-Image。
方法一:ComfyUI(推荐新手)
ComfyUI 官方在 2026 年 4 月宣布原生支持 ERNIE-Image(ComfyUI 官方博客)。官方给出的步骤是:
- 把 ComfyUI 更新到 v0.19.1 或更新版本(也可用 Comfy Cloud);
- 打开 Template(模板),搜索 ERNIE-Image;
- 选择 ERNIE-Image(或 Turbo)工作流;
- 按提示下载缺失的模型文件,改好提示词后点 Run。
如果模板里找不到,或加载工作流时提示缺节点,通常是 ComfyUI 版本过旧(ComfyUI 官方文档)。还没装 ComfyUI 的话,安装和基本操作可以先看 ComfyUI 本地部署 FLUX.2 klein 教程,流程类似。
X 上的创作者经验:
- @emwstudio 演示了完整的 ComfyUI 工作流,提到 24G 显存可跑、Turbo 8 步出图,并且有提示词增强器(原帖);
- @PhotogenicWeekE 在 ComfyUI 里对比标准版和 Turbo,并训练了人脸 LoRA;他的经验是标准版用 20 步远远不够,要加到 50 步(原帖),与官方推荐的 50 步一致。
方法二:Diffusers(适合写代码的用户)
官方模型卡给出了 Diffusers 用法,核心几行如下(需安装最新版 diffusers):
import torch
from diffusers import ErnieImagePipeline
pipe = ErnieImagePipeline.from_pretrained(
"Baidu/ERNIE-Image", torch_dtype=torch.bfloat16
).to("cuda")
image = pipe(
prompt="一张夏日音乐节海报,顶部大字标题“星光音乐节”,下方是舞台和人群剪影",
height=1264, width=848,
num_inference_steps=50, guidance_scale=4.0,
use_pe=True, # 使用提示词增强器
).images[0]
image.save("output.png")
用 Turbo 版时把模型换成 Baidu/ERNIE-Image-Turbo,步数改 8、guidance 改 1.0。模型卡还提供了 SGLang 部署方式,适合做成本地 API 服务。
提示词怎么写
ERNIE-Image 的强项是文字和版式,所以提示词里可以直接写出要渲染的文字和位置:
竖版海报,顶部居中大字标题“周末读书会”,副标题“每周六下午三点”,
中间是木桌上摊开的书和咖啡,底部一行小字“地点:城南图书馆”,暖色调,简洁排版
短提示词可以交给 Prompt Enhancer 扩写;想精确控制时关掉增强器、自己写完整描述。中文海报的更多写法见 AI 海报中文字教程,与另一款中文文字强项模型的对比可以参考 通义万相 / Qwen-Image 教程。
常见问题
ERNIE-Image 可以商用吗?
官方标注的许可证是 Apache-2.0,这是一种宽松的开源许可。但生成内容本身的版权、肖像和商标风险仍需自己把关,见 AI 绘画商用版权须知。
没有 24G 显卡怎么办?
可以试第三方 GGUF 量化版,或先用官方在线 Demo;也可以选择不需要本地部署的在线工具,见 免费 AI 绘画工具盘点。
ERNIE-Image 和 Turbo 出图差别大吗?
官方定位是标准版指令遵循更强、Turbo 更快且美感更好;具体差别建议用同一提示词各跑几张对比。
有图像编辑版本吗?
本文核对时官方模型卡只列出文生图的 ERNIE-Image 与 ERNIE-Image-Turbo 两个版本,编辑模型是否发布以官方页面为准。
想直接复制模板,去 AI 绘画提示词大全;想按工具找官网和相关教程,看 AI 绘画工具导航。更多工具横向比较见 国内能用的 AI 绘画工具推荐。
来源与核对
- 百度官方模型卡:ERNIE-Image、ERNIE-Image-Turbo:8B DiT、24G 显存、Prompt Enhancer、推荐分辨率/步数/guidance、Diffusers 与 SGLang 用法、Apache-2.0
- 魔搭社区:PaddlePaddle/ERNIE-Image(Apache-2.0)
- ComfyUI 官方博客:ERNIE-Image Day-0 Support、ComfyUI 官方文档:v0.19.1、模板步骤、3B Prompt Enhancer
- X 创作者:@Jalsmida7、@riddi0908、@emwstudio、@PhotogenicWeekE(见文中原帖链接)
最后核对日期:2026-10-17