Mã hóa cặp byte
Mã hóa cặp byte (BPE) là một thuật toán lấy cảm hứng từ nén, xây dựng vốn từ vựng bằng cách liên tục hợp nhất cặp ký hiệu thường xuyên nhất.
Tổng quan
It is the tokenizer behind GPT models, balancing tiny vocabularies of characters against huge vocabularies of whole words.
Lặn sâu
BPE bắt đầu bằng cách xử lý văn bản dưới dạng một chuỗi các ký tự riêng lẻ (hoặc byte thô). Sau đó, nó đếm mọi cặp ký hiệu liền kề, hợp nhất cặp thường xuyên nhất thành một mã thông báo mới và lặp lại điều này hàng nghìn lần. Mỗi lần hợp nhất được ghi lại như một quy tắc. Các chuỗi chữ cái phổ biến như 'th', 'ing' hoặc toàn bộ các từ thông dụng dần dần trở thành các mã thông báo đơn lẻ, trong khi các từ hiếm vẫn được chia thành các phần nhỏ hơn. Ban đầu là một phương pháp nén dữ liệu từ năm 1994, nó đã được Sennrich và cộng sự điều chỉnh cho phù hợp với NLP. vào năm 2016 cho dịch máy. GPT-2 và GPT-4 sử dụng BPE cấp byte, hoạt động trên byte UTF-8 nên mọi ký tự, biểu tượng cảm xúc hoặc ngôn ngữ luôn có thể được mã hóa mà không xảy ra lỗi ngoài từ vựng.
Hiểu biết kỹ thuật
Đào tạo BPE tạo ra một danh sách có thứ tự các quy tắc hợp nhất. Để mã hóa văn bản mới, thuật toán chia văn bản đó thành byte/ký tự và áp dụng các phép hợp nhất một cách tham lam theo cùng thứ tự ưu tiên cho đến khi không có quy tắc nào khớp. BPE cấp độ byte đảm bảo dự phòng: ngay cả một ký hiệu không nhìn thấy cũng phân hủy thành các byte cấu thành của nó, do đó, từ vựng 256 byte cộng với các kết hợp đã học bao gồm mọi thứ mà không cần mã thông báo UNK.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của mã hóa cặp byte
BPE vẫn là công cụ tạo mã thông báo phù hợp, nhưng áp lực đang gia tăng đối với các mô hình cấp độ byte hoặc ký tự bỏ qua quá trình mã hóa rõ ràng, tránh những điều kỳ quặc như sự phân chia khó xử trong mã, toán học hoặc các tập lệnh không phải tiếng Anh. Nghiên cứu về kiến trúc không có mã thông báo và các mã thông báo đã học nhằm mục đích khắc phục các thành kiến của BPE. Tuy nhiên, tốc độ và hiệu quả nén của nó có nghĩa là từ vựng kiểu BPE sẽ cung cấp năng lượng cho hầu hết các LLM sản xuất trong tương lai gần.
Triển khai trong thế giới thực
GPT-2 và GPT-4 sử dụng BPE cấp byte nên mọi ký tự hoặc biểu tượng cảm xúc Unicode đều có thể được mã hóa mà không gặp lỗi.
Hệ thống dịch máy sử dụng BPE để phân chia các từ hiếm hoặc từ ghép thành các phần từ phụ có thể sử dụng lại được chia sẻ trên các ngôn ngữ.
Thư viện mã thông báo của Hugging Face đào tạo từ vựng BPE cho các miền tùy chỉnh như văn bản y sinh hoặc pháp lý.
Các mô hình mã mã hóa số nhận dạng và từ khóa bằng BPE, hợp nhất các mẫu thường gặp như 'def' hoặc '==' thành các mã thông báo đơn lẻ.
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Byte-Pair Encoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mã hóa mã thông báo và cặp byte
Câu hỏi thường gặp
What is Byte-Pair Encoding?
Mã hóa cặp byte (BPE) là một thuật toán lấy cảm hứng từ nén, xây dựng vốn từ vựng bằng cách liên tục hợp nhất cặp ký hiệu thường xuyên nhất. Nó là công cụ mã thông báo đằng sau các mô hình GPT, cân bằng các từ vựng nhỏ của các ký tự với từ vựng khổng lồ của toàn bộ từ.
Hoạt động cốt lõi mà BPE lặp lại để xây dựng vốn từ vựng của mình là gì?
BPE đếm các cặp ký hiệu liền kề và hợp nhất cặp ký hiệu thường xuyên nhất thành một mã thông báo mới, lặp lại hàng nghìn lần.
BPE xử lý văn bản như thế nào khi bắt đầu đào tạo?
BPE bắt đầu từ các đơn vị nhỏ nhất (ký tự hoặc byte thô) và phát triển các mã thông báo lớn hơn thông qua việc hợp nhất.
Tại sao BPE cấp byte tránh được lỗi ngoài từ vựng (UNK)?
Bởi vì từ vựng cơ sở bao gồm tất cả 256 byte, ngay cả những ký hiệu không nhìn thấy cũng sẽ quay trở lại biểu diễn byte của chúng.
Thuật toán BPE ban đầu đến từ đâu trước khi NLP áp dụng nó?
BPE được giới thiệu như một kỹ thuật nén dữ liệu vào năm 1994 và sau đó được điều chỉnh để mã hóa từ khóa phụ vào năm 2016.
Khi mã hóa văn bản mới, BPE áp dụng các quy tắc đã học của mình như thế nào?
Các quy tắc hợp nhất được sắp xếp theo thứ tự và quá trình mã hóa áp dụng chúng một cách tham lam theo mức độ ưu tiên cho đến khi không có quy tắc nào phù hợp hơn.