Ống kính logit và ống kính điều chỉnh
Thấu kính logit và thấu kính điều chỉnh là các kỹ thuật có thể diễn giải giúp xem xét từng lớp trạng thái ẩn của máy biến áp để xem mô hình đang 'suy nghĩ' gì trước khi đưa ra câu trả lời cuối cùng.
Tổng quan
They reveal how a prediction gradually forms as information flows up through the network.
Lặn sâu
Một máy biến áp xây dựng câu trả lời của nó tăng dần: mỗi lớp thêm vào một 'luồng dư' đang chạy, luồng này chỉ được chuyển thành xác suất từ ở cuối. Ống kính logit, được giới thiệu bởi những người theo chủ nghĩa hoài cổ vào năm 2020, đã rút ngắn điều này bằng cách áp dụng trực tiếp quá trình hủy nhúng cuối cùng (và định mức lớp) của mô hình cho các lớp trung gian, do đó bạn có thể đọc được dự đoán tốt nhất của mạng ở mọi độ sâu. Điều này thường cho thấy câu trả lời kết tinh ở các lớp từ giữa đến cuối. Thấu kính đã điều chỉnh (Belrose và đồng nghiệp, 2023) cải thiện nó bằng cách đào tạo một đầu dò affine nhỏ trên mỗi lớp để chuyển các trạng thái ẩn thành cơ sở cuối cùng, khắc phục độ lệch và độ không chính xác mà thấu kính logit thô gặp phải, đặc biệt là ở các lớp đầu và trên các dòng mô hình khác nhau.
Hiểu biết kỹ thuật
Cả hai phương pháp đều khai thác chế độ xem luồng dư: mỗi lớp ghi các bản cập nhật bổ sung vào một vectơ dùng chung mà ma trận tách nhúng sau đó sẽ chiếu vào nhật ký từ vựng. Ống kính logit tái sử dụng thao tác gỡ nhúng chính xác đó ở các trạng thái trung gian mà không cần đào tạo thêm. Thay vào đó, ống kính được điều chỉnh sẽ học bản đồ tuyến tính trên mỗi lớp (một 'trình dịch' đã học) để trạng thái của mỗi lớp được chuyển đổi thành định dạng mà lớp cuối cùng mong đợi, mang lại những dự đoán mượt mà hơn, trung thực hơn và ít phức tạp hơn.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của ống kính Logit và ống kính điều chỉnh
Kỹ thuật lăng kính đang trở thành tiêu chuẩn để truy tìm cách thức các sự kiện, sự từ chối hoặc thành kiến xuất hiện theo chiều sâu và để phát hiện khi nào một mô hình 'biết' câu trả lời sớm. Mong đợi chúng kết hợp với bộ mã hóa tự động thưa thớt và bản vá nguyên nhân để chuyển từ mô tả dự đoán sang cơ chế giải thích. Nghiên cứu cũng đang thăm dò xem liệu các chỉ số trung gian có tiết lộ kiến thức tiềm ẩn hay sự lừa dối mà một mô hình che giấu trong kết quả cuối cùng của nó hay không, khiến ống kính trở thành một khối xây dựng ứng cử viên cho việc kiểm tra an toàn và giám sát cảnh báo sớm.
Triển khai trong thế giới thực
Sử dụng lăng kính logit để xem câu trả lời thực tế giống như một thành phố thủ đô xuất hiện ở các lớp giữa của mô hình
Áp dụng ống kính đã điều chỉnh để so sánh cách các nhóm mô hình khác nhau hội tụ để đưa ra dự đoán theo chiều sâu
Phát hiện rằng một mô hình đã 'quyết định' nội bộ một câu trả lời vài lớp trước khi xuất
Chẩn đoán các lớp trong đó các dự đoán mã thông báo có hại hoặc sai lệch lần đầu tiên chiếm ưu thế trong luồng dư
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Giải mã ống kính logit và lớp trung gian
Câu hỏi thường gặp
What is Logit Lens and Tuned Lens?
Thấu kính logit và thấu kính điều chỉnh là các kỹ thuật có thể diễn giải giúp xem xét từng lớp trạng thái ẩn của máy biến áp để xem mô hình đang 'suy nghĩ' gì trước khi đưa ra câu trả lời cuối cùng. Họ tiết lộ cách dự đoán dần dần hình thành khi thông tin truyền qua mạng.
Ống kính logit làm gì?
Ống kính logit chiếu các trạng thái luồng dư trung gian thông qua quá trình hủy nhúng hiện có để xem các mã thông báo được dự đoán của mô hình ở mỗi độ sâu.
Ống kính được điều chỉnh có thêm cải tiến quan trọng nào so với ống kính logit thô?
Ống kính được điều chỉnh sẽ học một trình dịch tuyến tính trên mỗi lớp, hiệu chỉnh các sai lệch và mang lại kết quả đọc trung thực hơn, độ phức tạp thấp hơn so với ống kính logit thô.
Cấu trúc nào trong máy biến thế làm cho những thấu kính này có thể tồn tại được?
Mỗi lớp ghi các bản cập nhật bổ sung vào luồng dư được chia sẻ, do đó việc chiếu luồng đó sớm gần đúng với dự đoán trung gian.
Ai đã giới thiệu ống kính logit ban đầu và khoảng khi nào?
Ống kính logit đã được người theo chủ nghĩa hoài cổ giới thiệu trong một bài đăng trên blog năm 2020 phân tích các dự đoán trung gian của GPT-2.
Ống kính logit thường hiện câu trả lời cuối cùng “kết tinh” ở đâu?
Các kết quả đọc thường hiển thị xác suất nhận được mã thông báo chính xác trên các lớp từ giữa đến cuối khi tính toán tích lũy.