本地使用 FLUX.1 模型(AI 生图) · LINIL

本地使用 FLUX.1 模型(AI 生图)

lucas

Lucas

2025年7月12日
本地使用 FLUX.1 模型(AI 生图)

因为有一些需要绘制图像的需求,而我又恰好没有艺术细胞,所以想到了使用 AI 来辅助生成,本文仅记录一下我使用 FLUX.1 的过程,并不会介绍相关的技术详情。

常见的图像生成工具

工具名称 简介 优势 是否开源 支持中文
Midjourney Discord 上运行的图像生成 AI,注重艺术风格 风格唯美、生成质量高、简单易用 部分支持
DALL·E 3(OpenAI) ChatGPT 内置的图像生成模型 理解文字能力强,支持绘图修改(inpainting) ✅✅✅
Stable Diffusion 开源的文本转图像模型 可自定义训练、无限扩展、社区活跃
FLUX.1 德国团队开发的新兴开源模型(Dev/Pro 版) 图像细节好,支持编辑、风格控制 ✅(部分版本)

随着 AI 领域的发展,越来越多的图像生成工具面世,其中各有各的优劣,这里不过多探讨孰优孰劣。

什么是 FLUX.1

FLUX.1 是由德国团队 Black Forest Labs 开发的一个高质量 AI 文本生成图像(Text-to-Image)模型,是目前开源图像生成模型中的新兴代表。 FLUX.1-dev 基于 Diffusion 框架,不仅支持 Text-to-Image 还支持 Image-to-Image ,拥有约 12 亿参数,精度接近 DALL·E 3 / Midjourney 5 的中高级水平。

FLUX.1 分多个版本:

  • Schnell : 转为本地开发和个人使用的快速版本。
  • Dev : 开源的非商业应用的开放式、经过指导的精炼模型。[dev]模型直接从[pro]蒸馏而来,具有相似的质量和及时坚持的能力,同时比相同大小的标准模型更有效。
  • Pro :仅限 API 调用,专业的以商业用途设计的闭源模型,最先进的图像生成性能,顶级的提示跟踪、视觉质量、图像细节和输出多样性。

这里主要记录本地使用 Dev 版本的过程;

FLUX.1 官网: https://bfl.ai/models/flux-kontext

EXAMPLE 1
EXAMPLE 1
EXAMPLE 2
EXAMPLE 2

如何在本地使用 FLUX.1

  1. 安装 comfyui 并保证 comfyui 版本是最新的。 如何安装 comfyui
  2. 下载对应的 FLUX.1-dev 模型。

https://huggingface.co/black-forest-labs/FLUX.1-dev 下载 ae.safetensorsflux1-dev.safetensors

FLUX.1-dev
FLUX.1-dev

  1. 下载 clip 文件,进入 flux_text_encoders 下载 clip_l.safetensorst5xxl_fp16.safetensorst5xxl_fp8_e4m3fn.safetensors 三个文件。

clip
clip

  1. 将之前下载好的文件放到 comfyui 安装路径下的对应位置:
文件名 相对位置 大小
ae.safetensors \models\vae 319 MB
flux1-dev.safetensors \models\unet 22.1 GB
clip_l.safetensors \models\clip 234 MB
t5xxl_fp16.safetensors \models\clip 9.11 GB
t5xxl_fp8_e4m3fn.safetensors \models\clip 4.55 GB
  1. 下载 controlnet 和 lora,你可以在 xlab-ai 主页 找到对应的文件:

controlnet/lora
controlnet/lora

文件名 相对位置
flux-canny-controlnet-v3.safetensors \models\controlnet
flux-depth-controlnet-v3.safetensors \models\controlnet
flux-hed-controlnet-v3.safetensors \models\controlnet
loras 文件 \models\loras
  1. 到这里已经可以快速使用 FLUX.1 进行生图,可以直接将 flux-example 中的图片直接拖入 ComfyUI。

可以得到以下工作流,你可以点击 RUN 试着跑一下:

EXAMPLE
EXAMPLE

workflow
workflow

简单介绍一下工作流结构:

workflow
workflow

更多内容会放在下一篇文章介绍结构和模型,如果有的话。