DALL-E
DALL-E 是 OpenAI 的文本到图像模型系列，可将书面描述转换为原始图片。
概述
It made "type a sentence, get an image" a mainstream idea and pushed image generation from research demos into everyday tools.
深入探讨
DALL-E 于 2021 年 1 月推出，通过一次预测一个图像标记来从文本生成图像，就像像素的语言模型一样。 DALL-E 2 (2022) 改用由 CLIP 嵌入引导的扩散方法，产生更清晰、更逼真的结果。 DALL-E 3（2023 年 10 月）加强了提示跟踪并内置于 ChatGPT 中，因此聊天机器人可以在生成之前将您的粗略请求重写为详细的提示。一个显着的改进是在图像内呈现可读文本，例如标志和标签，而早期的模型会出现乱码。 DALL-E 还支持修复（编辑图像的一部分）和修复（将其扩展到原始边界之外）。它可以根据单个提示生成多种变体，帮助用户快速探索创意选项。
技术洞察
DALL-E 3 是一种扩散模型：它从随机噪声开始，逐步消除噪声，通过文本提示的编码来引导每一步，直到出现连贯的图像。它在大量图像-标题对上进行训练，学习单词如何映射到视觉特征、空间排列和风格。一个关键技巧是改进训练过程中的字幕以及将简短提示扩展为详细提示的语言模型，这就是为什么 DALL-E 3 比其前身更忠实地遵循指令。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
DALL-E 的未来
DALL-E 的血统正在融入更广泛的多模式系统，其中一个模型可以一起处理文本、图像和编辑，而不是作为单独的工具。期待更严格的对话编辑（“将天空设为橙色，保留其他一切”）、更好的文本渲染和更高的分辨率。 C2PA 元数据和水印等来源信号将成为标记人工智能生成图像的标准。来自 Midjourney、Stable Diffusion 和 Google 模型的竞争正在推动质量的快速提高，而关于训练数据、艺术家同意和版权的争论将不断影响这些系统可以学习的内容。
现实世界的实施
博主为文章生成自定义标题插图，而不是搜索库存照片库
老师创建简单的、带标题的图表来向年轻学生解释科学概念
一家小企业在聘请设计师完善标志和包装概念之前先模拟了几个标志和包装概念
游戏设计师快速制作角色和环境的概念艺术以提出想法
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DALL-E quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is DALL-E?
DALL-E 是 OpenAI 的文本到图像模型系列，可将书面描述转换为原始图片。它使“输入句子，获取图像”成为主流理念，并将图像生成从研究演示推向日常工具。
DALL-E 3 主要做什么？
DALL-E 是一个文本到图像的系统：您用文字描述一个场景，它会生成一个与该描述相匹配的新图片。
DALL-E 3 使用什么底层技术来创建图像？
DALL-E 3 是一种扩散模型，它从随机噪声开始，根据您的提示逐步将其细化为连贯的图像。
为什么 DALL-E 3 在 ChatGPT 内使用时能更好地遵循提示？
在 ChatGPT 中，语言模型将简短的请求重写为更丰富、更具体的提示，从而提高图像与您想要的内容的匹配程度。
DALL-E 3 与早期版本相比有何显着改进？
早期的模型会导致图像中的文本出现乱码，但 DALL-E 3 可以更可靠地呈现标牌、标签和海报上的清晰文字。
“修复”可以让您对 DALL-E 图像执行什么操作？
修复可编辑图像的选定部分（例如，交换对象），同时保持周围区域完好无损。