VQ-VAE 和离散潜伏
VQ-VAE 将图像、音频或视频压缩为从学习的码本中提取的离散代码的小网格，而不是连续的数字。
概述
This discrete bottleneck lets powerful sequence models like Transformers treat media as 'tokens', much like words.
深入探讨
VQ-VAE（矢量量化变分自动编码器）由 DeepMind 的 van den Oord 及其同事于 2017 年提出，是一种潜在空间离散的自动编码器。编码器将图像转换为连续向量的网格；然后，每个向量都会被捕捉到学习的嵌入码本中最近的条目（向量量化）。解码器根据这些量化代码重建图像。由于潜在变量现在是索引的有限词汇，因此单独的模型可以学习它们的分布并生成新内容。这个两阶段配方为 DALL-E 1、音乐点唱机和 VQGAN 提供动力，它增加了感知和对抗性损失，以实现更清晰的重建。 VQ-VAE-2堆叠多种分辨率以产生高保真图像。
技术洞察
量化步骤（argmin 最近邻查找）是不可微的，因此 VQ-VAE 使用直通估计器：梯度直接从解码器输入复制回编码器输出，就好像量化是恒等式一样。训练结合了重建损失、将嵌入拉向编码器输出的码本损失以及使编码器致力于其所选代码的承诺损失。常见的故障是码本崩溃，即仅使用了少数代码。
战略影响
速度与规模
视觉人工智能可以大规模自动化检查、检测和标记任务。
构建选择
创意团队可以通过更少的手动修改更快地构建概念原型。
团队与工作流程
操作可以使用以前难以处理的图像和视频信号。
VQ-VAE 和离散潜在变量的未来
离散潜在变量是推动统一多模态模型的核心，该模型将图像、音频和视频标记为与文本相同的词汇表。残差和有限标量量化、更大的码本和更好的使用平衡等改进正在减少崩溃并提高保真度。由于模型的目标是跨模态理解和生成，基于 VQ-VAE 思想的强大分词器仍将是一个基本要素，其竞争日益激烈，并与连续潜在扩散方法相结合。
现实世界的实施
DALL-E 1 使用离散 VQ-VAE 分词器，因此 Transformer 可以生成图像作为码本索引序列。
VQGAN 将 VQ-VAE 与对抗性和感知损失相结合，为艺术生成生成清晰、高分辨率的图像标记。
OpenAI 的 Jukebox 将 VQ-VAE 应用于原始音频，将音乐压缩为离散代码以进行生成建模。
VQ-VAE-2 堆叠分层离散潜在图像来合成多样化的高保真图像，可与同时代的 GAN 相媲美。
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
使用符合实际生产条件的数据进行测试。
为低置信度或高影响力的预测添加人工审核。
跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the VQ-VAE and Discrete Latents quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
What is VQ-VAE and Discrete Latents?
VQ-VAE 将图像、音频或视频压缩为从学习的码本中提取的离散代码的小网格，而不是连续的数字。这种离散瓶颈使得像 Transformer 这样强大的序列模型能够将媒体视为“令牌”，就像单词一样。
VQ-VAE 的潜在空间与标准 VAE 的潜在空间有何不同？
VQ-VAE 使用通过矢量量化从学习的码本中提取的离散代码替换连续潜在变量。
VQ-VAE 如何通过不可微量化步骤传递梯度？
直通估计器将解码器输入梯度直接复制到编码器输出，将量化视为后向传递的恒等式。
什么是“密码本崩溃”？
当模型仅依赖于少数代码时，就会发生码本崩溃，浪费了大部分码本并损害了多样性。
为什么离散潜在变量对于使用 Transformer 进行生成建模很有用？
离散索引形成有限的词汇表，因此 Transformer 等序列模型可以像单词一样学习和采样它们的分布。
VQGAN 在基本 VQ-VAE 配方之上添加了什么？
VQGAN 通过鉴别器和感知损失增强了 VQ-VAE，从而产生更清晰、更详细的重构标记。