Tiếp theoHướng dẫn tiếp theo
Mô hình TF-IDF và Bag-of-Words
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Mô hình cấp byte không có tokenizer
Các mô hình cấp độ byte không dùng tokenizer đọc văn bản dưới dạng các byte thay vì các token tách từ cố định.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Điều này cung cấp một bảng chữ cái đầu vào chung giữa các hệ thống chữ viết, đồng thời làm tăng độ dài chuỗi cho một transformer tiêu chuẩn. Mô hình Byte Latent Transformer (BLT) giải quyết chi phí đó bằng cách nhóm các byte thành các bản vá có kích thước biến đổi dựa trên entropy của byte tiếp theo; kiến thức ngôn ngữ vẫn phụ thuộc vào dữ liệu huấn luyện.
Lặn sâu
Một mô hình cấp độ byte nhận các giá trị byte UTF-8 làm đầu vào thay vì chia văn bản thành một từ vựng từ phụ cố định. ByT5 cho thấy một Transformer tiêu chuẩn có thể hoạt động trên các chuỗi byte, đồng thời ghi lại sự đánh đổi về độ dài chuỗi dài hơn. Mô hình Byte Latent Transformer (BLT) nhóm các byte thành các bản vá có kích thước động bằng cách sử dụng các ước tính về entropy của byte tiếp theo. Bộ xử lý Transformer toàn cục chính của nó xử lý các đại diện bản vá, với các thành phần mã hóa và giải mã cấp độ byte cục bộ. Tài liệu nghiên cứu BLT báo cáo các thí nghiệm mở rộng có kiểm soát tính toán lên tới 8B tham số và 4T byte huấn luyện; các so sánh về hiệu suất và hiệu quả của nó chỉ giới hạn ở các mô hình và tác vụ được đánh giá.
Triển khai trong thế giới thực
Xử lý các lỗi chính tả bất thường hoặc văn bản nhiều nhiễu mà không cần một tokenizer ánh xạ các chuỗi hiếm thành các token không xác định
So sánh cách các chuỗi đa ngôn ngữ được phân đoạn bởi các token từ phụ so với các byte thô
Sử dụng các bản vá dựa trên entropy để phân bổ nhiều tính toán mô hình hơn cho văn bản ít dự đoán hơn
Nghiên cứu hành vi của mô hình cấp độ byte trên văn bản có ranh giới ký tự hoặc hệ thống chữ viết thay đổi
Tương lai của các mô hình cấp byte không cần tokenizer
Các mô hình không dùng tokenizer đang được nghiên cứu cho văn bản đa ngôn ngữ, đầu vào nhiều nhiễu và các bối cảnh mà việc thiết kế từ vựng tạo ra độ dài chuỗi không đồng đều. Vá động là một cách để quản lý tính toán chuỗi byte. Các so sánh trong tương lai cần các ngân sách tính toán, ngôn ngữ và dữ liệu huấn luyện tương đồng thay vì giả định rằng một thiết kế cấp độ byte duy nhất nhanh hơn hoặc có năng lực hơn trên diện rộng.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra về Các mô hình cấp độ byte không dùng tokenizer
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Mô hình cấp byte không cần mã thông báo là gì?
Các mô hình cấp độ byte không dùng tokenizer đọc văn bản dưới dạng các byte thay vì các token tách từ cố định. Điều này cung cấp một bảng chữ cái đầu vào chung giữa các hệ thống chữ viết, đồng thời làm tăng độ dài chuỗi cho một transformer tiêu chuẩn. Mô hình Byte Latent Transformer (BLT) giải quyết chi phí đó bằng cách nhóm các byte thành các bản vá có kích thước biến đổi dựa trên entropy của byte tiếp theo; kiến thức ngôn ngữ vẫn phụ thuộc vào dữ liệu huấn luyện.
Mô hình cấp byte không có mã thông báo đọc đơn vị đầu vào là gì?
Các mô hình cấp byte hoạt động trực tiếp trên các byte văn bản thô, trong đó chỉ có 256 giá trị có thể, loại bỏ nhu cầu về bất kỳ từ vựng mã thông báo cố định nào.
Hạn chế thực tế chính của việc cung cấp byte thô cho máy biến áp tiêu chuẩn là gì?
Một đoạn có vài chục mã thông báo có thể trên một trăm byte và chi phí chú ý tăng theo độ dài chuỗi, do đó các mô hình byte ngây thơ sẽ chậm.
Làm thế nào để Bộ biến đổi tiềm ẩn Byte (BLT) quyết định vị trí nhóm byte thành các bản vá?
BLT đặt các ranh giới bản vá trong đó độ không đảm bảo về byte tiếp theo của mô hình nhỏ cao, giúp các vùng cứng có khả năng tính toán cao hơn và hợp nhất các lần chạy có thể dự đoán được.
Tại sao một từ vựng từ phụ cố định có thể sử dụng nhiều token hơn cho một số ngôn ngữ so với các ngôn ngữ khác?
Tần suất sinh token phụ thuộc vào từ vựng của tokenizer và dữ liệu huấn luyện của nó; các ngôn ngữ ít được biểu diễn hơn trong dữ liệu đó có thể được chia thành nhiều phần hơn.
Việc loại bỏ một tokenizer cố định đảm bảo điều gì về đầu vào cấp độ byte?
Các byte cung cấp một bảng chữ cái mã hóa chung cho văn bản, nhưng khả năng xử lý một ngôn ngữ của mô hình vẫn phụ thuộc vào những gì nó đã học được trong quá trình huấn luyện.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này