罗吉特透镜和调谐透镜
Logit 透镜和调谐透镜是可解释性技术，可逐层查看 Transformer 的隐藏状态，以了解模型在产生最终答案之前“思考”的内容。
概述
它们揭示了随着信息在网络中流动而逐渐形成预测。
深入探讨
转换器逐步构建其答案：每一层都会添加到正在运行的“剩余流”，该“剩余流”仅在最后才转换为单词概率。 nostalgebraist 在 2020 年推出的 logit 透镜通过将模型的最终非嵌入（和层范数）直接应用于中间层来简化这一过程，因此您可以读出网络在每个深度的最佳猜测。这通常表明答案在中后期层中具体化。调谐透镜（Belrose 及其同事，2023）对此进行了改进，通过训练每层一个小型仿射探针将隐藏状态转换为最终基础，修复原始 Logit 透镜所遭受的偏差和不准确性，特别是在早期层和不同模型系列中。
技术洞察
两种方法都利用了残差流视图：每一层都将附加更新写入共享向量，该共享向量稍后将非嵌入矩阵投影到词汇逻辑。 Logit 透镜重复利用了中间状态的精确去嵌入，无需额外的训练。相反，经过调整的透镜会学习每层线性图（一个学习的“翻译器”），因此每一层的状态都会转换为最终层期望的格式，从而产生更平滑、更忠实和更低困惑度的预测。
战略影响
成本与预算
多年来，架构决策决定着性能和运营成本。
更清晰的判决
技术教育帮助团队选择正确的堆栈，而不仅仅是最新的堆栈。
质量控制
更好的工程选择可以减少生产中的可靠性事故。
Logit 镜头和调谐镜头的未来
镜头技术正在成为追踪事实、拒绝或偏见如何在深度上出现的标准，以及用于发现模型何时“知道”答案的早期方法。期望它们与稀疏自动编码器和因果修补相结合，从描述预测转向解释机制。研究还在探索中间读数是否揭示了模型在其最终输出中隐藏的潜在知识或欺骗，使镜头成为安全审计和预警监控的候选构建块。
现实世界的实施
使用 Logit 镜头观察事实答案，例如模型中间层中出现的首都城市
应用调谐透镜来比较不同模型系列如何收敛于跨深度的预测
检测模型在输出之前的几层内部已“决定”答案
诊断有害或有偏见的标记预测首先在残差流中占主导地位的层
风险与防护栏
优化一项基准测试可以隐藏更广泛的系统弱点。
基础设施和维护成本常常被低估。
随着系统变得更加复杂，安全性和可观察性差距可能会扩大。
实施路线图
在实施之前定义延迟、质量和成本目标。
在实际负载和数据条件下进行基准测试。
仪器监控错误、漂移和用户影响。
在扩展之前准备回滚和事件响应路径。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是Logit透镜和调谐透镜？
Logit 透镜和调谐透镜是可解释性技术，可逐层查看 Transformer 的隐藏状态，以了解模型在产生最终答案之前“思考”的内容。它们揭示了随着信息在网络中流动，预测是如何逐渐形成的。
Logit镜头有什么作用？
Logit 透镜通过现有的非嵌入来投影中间残差流状态，以查看模型在每个深度的预测标记。
与原始 Logit 镜头相比，调谐镜头增加了哪些关键改进？
调谐透镜学习每层线性转换器，纠正偏差并提供比原始 Logit 透镜更忠实、更低困惑度的读数。
变压器中的什么结构使这些镜头成为可能？
每层都将附加更新写入共享残差流，因此早期预测该流近似于中间预测。
谁推出了最初的 Logit 镜头，大概是什么时候推出的？
logit 透镜是由 nostalgebraist 在 2020 年分析 GPT-2 中间预测的博客文章中引入的。
Logit镜头常常在哪里显示出最终答案“结晶”？
读数通常会显示随着计算的累积，正确的标记在中后期层中获得的概率。