概述
学习到的离散潜变量可以为下游生成模型提供紧凑的标记序列。
深入探讨
神经离散表示学习引入了 VQ-VAE，其编码器输出离散码，而不是标准 VAE 的连续潜变量，并具有针对这些码的学习先验。直通估计器将编码器的梯度通过量化传递，目标函数包含码本项和承诺项。VQGAN 将向量量化与感知训练及对抗训练相结合，并研究了图像压缩/合成。这些是特定的模型设计，并不能保证离散码能够保留所有信息。
现实世界的实施
编码器将输入映射到连续的潜向量，该向量被量化为码本条目。
解码器利用所选的码本向量重建输入。
DALL·E 在自回归 Transformer 先验之前，使用了离散的 VAE 图像分词器。
VQGAN 在特定的图像分词方法中添加了感知损失和对抗损失。
VQ-VAE 和离散潜在变量的未来
比较目标数据的码本利用率、重建质量和下游性能。报告分词器、码本和目标函数，因为结果取决于表示和训练的选择。引用的来源并未确立离散潜变量总是优于连续表示。
付诸实践
为什么这很重要
- 速度与规模. 视觉人工智能可以大规模自动化检查、检测和标记任务。
- 构建选择. 创意团队可以通过更少的手动修改更快地构建概念原型。
- 团队与工作流程. 操作可以使用以前难以处理的图像和视频信号。
留意
- 如果出处不明，肖像权和同意可能会成为法律风险。
- 模型性能可能因光照、人口统计和环境的不同而有所不同。
- 除非监控置信阈值，否则误报可能会被忽视。
后续步骤
- 定义精确度、召回率和错误成本的接受标准。
- 使用符合实际生产条件的数据进行测试。
- 为低置信度或高影响力的预测添加人工审核。
- 跟踪模型漂移并在相机或数据集更改后重新验证。
不断探索
常见问题
什么是 VQ-VAE 与离散潜变量？
VQ-VAE 将输入编码为离散的码本索引，并由解码器将其重建。学习到的离散潜变量可以为下游生成模型提供紧凑的标记序列。
VQ-VAE 的潜在空间与标准 VAE 的潜在空间有何不同？
VQ-VAE 使用通过矢量量化从学习的码本中提取的离散代码替换连续潜在变量。
VQ-VAE 如何通过不可微量化步骤传递梯度？
直通估计器将解码器输入梯度直接复制到编码器输出，将量化视为后向传递的恒等式。
什么是“密码本崩溃”？
当模型仅依赖于少数代码时，就会发生码本崩溃，浪费了大部分码本并损害了多样性。
为什么离散潜在变量对于使用 Transformer 进行生成建模很有用？
离散索引形成有限的词汇表，因此 Transformer 等序列模型可以像单词一样学习和采样它们的分布。
VQGAN 在基本 VQ-VAE 配方之上添加了什么？
VQGAN 通过鉴别器和感知损失增强了 VQ-VAE，从而产生更清晰、更详细的重构标记。