Mô hình hóa bối cảnh dài
Mô hình hóa ngữ cảnh dài cho phép mô hình ngôn ngữ đọc và suy luận trên các đầu vào rất lớn cùng một lúc, từ hàng trăm trang đến toàn bộ cơ sở mã.
Tổng quan
It matters because a bigger context window changes what is possible without retrieval, fine-tuning, or splitting documents.
Lặn sâu
Cửa sổ ngữ cảnh của mô hình là số lượng mã thông báo tối đa mà mô hình có thể xử lý trong một lần chuyển. Các mô hình ban đầu xử lý được vài nghìn token; hệ thống hiện đại đạt tới hàng trăm nghìn hoặc thậm chí hàng triệu. Trở ngại chính là chi phí tự chú ý tiêu chuẩn tăng theo hàm bậc hai với độ dài chuỗi, do đó, việc tăng gấp đôi đầu vào sẽ tăng gấp bốn lần công việc. Các kỹ sư giải quyết vấn đề này bằng các mã hóa vị trí thông minh hơn như RoPE và các thủ thuật mở rộng quy mô của nó, các biến thể chú ý như cửa sổ trượt và FlashAttention cũng như quản lý bộ nhớ thông minh. Nhưng một cửa sổ dài hơn không tự động là một cửa sổ tốt hơn. Vấn đề 'bị mất ở giữa' cho thấy các mô hình thường nhớ lại thông tin ở đầu và cuối của một đầu vào dài đáng tin cậy hơn so với các dữ kiện bị chôn vùi ở giữa, do đó, độ dài thô phải được kết hợp với khả năng thu hồi thực sự có thể sử dụng được.
Hiểu biết kỹ thuật
Tự chú ý so sánh mọi mã thông báo với mọi mã thông báo khác, đưa ra khả năng tính toán và bộ nhớ O(n bình phương) theo độ dài chuỗi n. Tỷ lệ bậc hai đó là lý do tại sao bối cảnh dài lại đắt tiền. FlashAttention giảm tắc nghẽn bộ nhớ bằng tính toán xếp lớp, nhận biết IO để tránh ghi toàn bộ ma trận chú ý vào bộ nhớ, trong khi sự chú ý của cửa sổ trượt giới hạn mỗi mã thông báo ở một vùng lân cận cục bộ. Việc nhúng vị trí quay (RoPE), thường kèm theo phép nội suy, cho phép các mô hình khái quát hóa theo độ dài chuỗi dài hơn mức chúng được đào tạo.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của mô hình hóa bối cảnh dài
Cửa sổ ngữ cảnh sẽ tiếp tục phát triển, nhưng ranh giới đang chuyển từ độ dài tuyệt đối sang sử dụng hiệu quả nó: thu hồi ngữ cảnh giữa tốt hơn, chi phí cho mỗi mã thông báo thấp hơn và lý luận đáng tin cậy trên toàn bộ cửa sổ. Mong đợi sự tích hợp chặt chẽ hơn với khả năng truy xuất để các mô hình chỉ lấy những gì quan trọng, cộng với bộ nhớ đệm nhanh chóng giúp tái sử dụng bối cảnh cố định dài với chi phí thấp trên nhiều truy vấn. Các kiến trúc kết hợp sự chú ý với các mô hình không gian trạng thái như Mamba nhằm mục đích xử lý các chuỗi rất dài với tỷ lệ gần như tuyến tính.
Triển khai trong thế giới thực
Dán toàn bộ hợp đồng 100 trang vào một lời nhắc và yêu cầu mô hình gắn cờ mọi điều khoản xung đột với chính sách nhất định.
Tải toàn bộ cơ sở mã hoặc mô-đun lớn để mô hình có thể theo dõi lỗi trên nhiều tệp mà không cần truy xuất từng tệp một cách thủ công.
Tóm tắt toàn bộ cuốn sách hoặc bản ghi cuộc họp dài trong một lần duy nhất trong khi vẫn giữ các tài liệu tham khảo nhất quán xuyên suốt.
Cung cấp nhiều phiếu hỗ trợ trước đây cùng một lúc để mô hình trả lời một phiếu mới với toàn bộ lịch sử được xem.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long-Context Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Nội suy vị trí cho bối cảnh dài
Câu hỏi thường gặp
What is Long-Context Modeling?
Mô hình hóa ngữ cảnh dài cho phép mô hình ngôn ngữ đọc và suy luận trên các đầu vào rất lớn cùng một lúc, từ hàng trăm trang đến toàn bộ cơ sở mã. Điều này quan trọng vì cửa sổ ngữ cảnh lớn hơn sẽ thay đổi những gì có thể thực hiện được mà không cần truy xuất, tinh chỉnh hoặc chia nhỏ tài liệu.
'Cửa sổ ngữ cảnh' của mô hình đề cập đến điều gì?
Cửa sổ ngữ cảnh là ngân sách mã thông báo mà mô hình có thể đọc và suy luận đồng thời trong một lần chuyển tiếp.
Tại sao việc tự chú ý theo tiêu chuẩn lại trở nên tốn kém khi nhập liệu lâu?
Tự chú ý so sánh mọi mã thông báo với mọi mã thông báo khác, do đó, tỷ lệ chi phí là O(n bình phương) trong độ dài chuỗi n.
Vấn đề 'lạc giữa chừng' là gì?
Các nghiên cứu cho thấy độ chính xác khi truy xuất giảm xuống đối với nội dung được đặt ở giữa một ngữ cảnh dài, do đó, chỉ độ dài thôi không đảm bảo cho việc ghi nhớ.
FlashAttention chủ yếu cải thiện điều gì?
FlashAttention tính toán sự chú ý trong các ô mà không cụ thể hóa toàn bộ ma trận chú ý trong bộ nhớ, giúp giảm chi phí bộ nhớ cho các chuỗi dài.
Vai trò của nhúng vị trí quay (RoPE) đóng vai trò gì trong các mô hình ngữ cảnh dài?
RoPE mã hóa thông tin vị trí tương đối và có thể được nội suy để mô hình xử lý các chuỗi dài hơn thời lượng huấn luyện của nó.