概述
其头条新闻发现，质量的最大驱动力是大型冻结语言模型，而非更大的图像网络。
深入探讨
Imagen 由 Google Research 在 2022 年宣布，它表明，深入理解提示与画好提示一样重要。 Imagen 没有使用 CLIP 式的文本编码器，而是使用一个保持冻结状态的大型预训练文本编码器 (T5-XXL)，然后将这些丰富的语言嵌入输入到扩散模型中。它生成一个小型 64x64 图像，并使用两个超分辨率扩散阶段将其放大到 1024x1024。该团队还引入了“动态阈值”以保持颜色在高指导下稳定，并构建了 DrawBench，这是测试计数、空间关系和罕见组合的棘手提示的基准。更高版本 Imagen 2 和 Imagen 3 锐化了细节、文本渲染和提示保真度，现在为 Google 的图像工具提供支持。
现实世界的实施
无需拍摄照片即可从书面简报中生成逼真的营销视觉效果
根据描述性句子为讲故事或儿童读物创建概念插图
为电子商务列表制作产品模型和场景变体
将科学或教育思想可视化，就像用简单语言描述的艺术家的渲染一样
Imagen 文本到图像的未来
Imagen 的传承正在朝着更好的图像内文本渲染、更严格的复杂场景提示以及更快的采样方向发展。期望与语言模型进行更深入的融合，以便系统在绘制之前对请求进行“推理”，并添加更强大的水印（例如 SynthID）以获取出处。由于它集成了 Google 的产品和 Gemini 生态系统，因此重点转向可靠、安全、可控的发电，而不是原始的新颖性。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是Imagen文本转图像？
Imagen 是 Google 的文本到图像系统，可将书面描述转化为逼真的图片。其主要发现是，质量的最大驱动因素是大型冻结语言模型，而不是更大的图像网络。
在最初的 Imagen 研究的缩放比较中，哪项改动带来了更大的图像质量和文本对齐提升？
报告的比较结果支持缩放文本编码器；这是一项研究结果，而不是适用于所有架构的普遍规律。
Imagen 依赖哪种文本编码器？
Imagen 使用大型纯文本预训练 T5-XXL 编码器，在训练期间保持冻结状态。
Imagen如何达到高分辨率？
它生成 64x64 图像，然后通过超分辨率扩散模型将其放大到 1024x1024。
最初的 Imagen 的动态阈值处理在强引导下解决了什么问题？
该方法裁剪并重新缩放预测的像素，以限制在大引导权重下的饱和度。
什么是 DrawBench？
DrawBench 是 Imagen 引入的基准Google，用于测试计数、空间关系和罕见提示。