概述
CLIP 是来自 OpenAI 的模型，它通过将图像和文本放置在同一数学空间中来学习连接图像和文本。它是图像搜索、内容审核和许多文本到图像生成器背后的安静主力。
CLIP 和视觉语言模型属于计算机视觉工作流程，可解释或生成视觉媒体以进行分析、操作和创造力。
深入探讨
CLIP（对比语言-图像预训练）于 2021 年发布，使用从网络上抓取的约 4 亿个图像-标题对进行训练。它使用两个编码器：一个将图像转换为向量，另一个将文本转换为向量，并且两者都位于共享的嵌入空间中。该模型进行学习，以便将狗的照片和“狗的照片”一词放在一起，而不匹配的配对则放在很远的位置。这解锁了零样本分类：要标记图像，您可以将其与候选类别的文本描述进行比较并选择最接近的，而无需训练专用的分类器。 CLIP 成为基础设施，指导图像生成器，支持语义图像搜索，过滤数据集，并为当今更大的视觉语言模型（如 Flamingo、LLaVA 和 GPT-4V）提供种子。
技术洞察
CLIP 是按照对比目标进行训练的。在一批图像-文本对中，它计算每个图像和每个标题之间的相似度（通过余弦相似度），然后调整编码器以最大化正确对的分数并最小化所有错误组合的分数。图像编码器通常是一个 Vision Transformer，它将图片分割成多个块；文本编码器是令牌上的转换器。由于两者都会产生可比较的矢量，因此您可以将任何图像与任何文本即时匹配。
掌握 CLIP 和视觉语言模型
CLIP 是来自 OpenAI 的模型，它通过将图像和文本放置在同一数学空间中来学习连接图像和文本。它是图像搜索、内容审核和许多文本到图像生成器背后的安静主力。 CLIP 和视觉语言模型属于计算机视觉工作流程，可解释或生成视觉媒体以进行分析、操作和创造力。为了建立深入的理解，请将 CLIP 和视觉语言模型视为一种操作模型，而不是单一功能：定义所需的结果，澄清假设，并将系统可以可靠地执行的操作与仍需要专家判断的操作分开。
在实践中，使用 CLIP 和视觉语言模型的强大团队会平衡准确性与数据质量、照明差异和标签一致性等操作现实。他们记录明确的成功标准，根据实际数据和工作流程进行测试，并根据观察到的失败模式而不是一次性基准测试胜利进行迭代。这就是理论理解转变为跨产品、政策和运营的持久能力的地方。
视觉人工智能可以大规模自动化检查、检测和标记任务。同时，如果出处不明，肖像权和同意可能会成为法律风险。最具弹性的方法是将实验速度与治理规则结合起来：运行试点、捕获证据、发布决策日志，并随着模型行为、用户期望和监管要求的发展不断更新保障措施。
战略影响
视觉人工智能可以大规模自动化检查、检测和标记任务。
视觉人工智能可以大规模自动化检查、检测和标记任务。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
创意团队可以通过更少的手动修改更快地构建概念原型。
创意团队可以通过更少的手动修改更快地构建概念原型。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
操作可以使用以前难以处理的图像和视频信号。
操作可以使用以前难以处理的图像和视频信号。在高质量部署中，这会转化为可衡量的操作规则、所有权边界和定期审查仪式，以便团队可以增强信心，而不是扩大模糊性。
现实世界的实施
使用“山上日落”等自然短语而不是文件名标签搜索照片库
指导文本到图像生成器，使输出与请求的提示匹配
通过将不安全或不符合政策的图像与禁止内容的文本描述进行比较来标记它们
自动组织大型未标记图像数据集或为其添加字幕，以用于研究或电子商务
实施模式
CLIP 和视觉语言模型的实践
使用自然短语（例如“山上的日落”）而不是文件名标签搜索照片库。
使用“山上的日落”等自然短语而不是文件名标签来搜索照片库 当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
CLIP 和视觉语言模型的实践
指导文本到图像生成器，使输出与请求的提示匹配。
指导文本到图像生成器，使输出与请求的提示相匹配。当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会得到更好的结果。
CLIP 和视觉语言模型的实践
通过将不安全或不符合政策的图像与禁止内容的文本描述进行比较来标记它们。
通过将不安全或不符合政策的图像与禁止内容的文本描述进行比较来标记不安全或偏离策略的图像当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪随着时间的推移提高的生产力和错误成本时，通常会得到更好的结果。
CLIP 和视觉语言模型的实践
自动组织大型未标记图像数据集或为其添加字幕，以用于研究或电子商务。
自动组织或为研究或电子商务的大型未标记图像数据集添加字幕当团队预先定义质量阈值、为边缘情况保留人工升级路径并跟踪一段时间内的生产力提升和错误成本时，通常会获得更好的结果。
风险与防护栏
如果出处不明，肖像权和同意可能会成为法律风险。
模型性能可能因光照、人口统计和环境的不同而有所不同。
除非监控置信阈值，否则误报可能会被忽视。
实施路线图
定义精确度、召回率和错误成本的接受标准。
定义精确度、召回率和错误成本的接受标准。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
使用符合实际生产条件的数据进行测试。
使用符合实际生产条件的数据进行测试。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
为低置信度或高影响力的预测添加人工审核。
为低置信度或高影响力的预测添加人工审核。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。
跟踪模型漂移并在相机或数据集更改后重新验证。
跟踪模型漂移并在相机或数据集更改后重新验证。将每个步骤视为证据门：如果不满足标准，则暂停推出，缩小差距，然后再扩大使用。