因为有一些需要绘制图像的需求,而我又恰好没有艺术细胞,所以想到了使用 AI 来辅助生成,本文仅记录一下我使用 FLUX.1 的过程,并不会介绍相关的技术详情。
工具名称 | 简介 | 优势 | 是否开源 | 支持中文 |
---|---|---|---|---|
Midjourney | Discord 上运行的图像生成 AI,注重艺术风格 | 风格唯美、生成质量高、简单易用 | 否 | 部分支持 |
DALL·E 3(OpenAI) | ChatGPT 内置的图像生成模型 | 理解文字能力强,支持绘图修改(inpainting) | 否 | ✅✅✅ |
Stable Diffusion | 开源的文本转图像模型 | 可自定义训练、无限扩展、社区活跃 | ✅ | ✅ |
FLUX.1 | 德国团队开发的新兴开源模型(Dev/Pro 版) | 图像细节好,支持编辑、风格控制 | ✅(部分版本) | ✅ |
随着 AI 领域的发展,越来越多的图像生成工具面世,其中各有各的优劣,这里不过多探讨孰优孰劣。
FLUX.1 是由德国团队 Black Forest Labs 开发的一个高质量 AI 文本生成图像(Text-to-Image)模型,是目前开源图像生成模型中的新兴代表。 FLUX.1-dev 基于 Diffusion 框架,不仅支持 Text-to-Image 还支持 Image-to-Image ,拥有约 12 亿参数,精度接近 DALL·E 3 / Midjourney 5 的中高级水平。
FLUX.1 分多个版本:
这里主要记录本地使用 Dev 版本的过程;
FLUX.1 官网: https://bfl.ai/models/flux-kontext
在 https://huggingface.co/black-forest-labs/FLUX.1-dev 下载 ae.safetensors
和 flux1-dev.safetensors
。
clip_l.safetensors
、 t5xxl_fp16.safetensors
、 t5xxl_fp8_e4m3fn.safetensors
三个文件。
文件名 | 相对位置 | 大小 |
---|---|---|
ae.safetensors | \models\vae | 319 MB |
flux1-dev.safetensors | \models\unet | 22.1 GB |
clip_l.safetensors | \models\clip | 234 MB |
t5xxl_fp16.safetensors | \models\clip | 9.11 GB |
t5xxl_fp8_e4m3fn.safetensors | \models\clip | 4.55 GB |
文件名 | 相对位置 |
---|---|
flux-canny-controlnet-v3.safetensors | \models\controlnet |
flux-depth-controlnet-v3.safetensors | \models\controlnet |
flux-hed-controlnet-v3.safetensors | \models\controlnet |
loras 文件 | \models\loras |
可以得到以下工作流,你可以点击 RUN 试着跑一下:
简单介绍一下工作流结构:
更多内容会放在下一篇文章介绍结构和模型,如果有的话。