Mã thông báo
Mã thông báo là bước cắt văn bản thành các phần nhỏ hơn gọi là mã thông báo, đơn vị mà mô hình ngôn ngữ thực sự đọc và dự đoán.
Tổng quan
It quietly shapes cost, context limits, and even how well a model handles spelling and rare words.
Lặn sâu
Trước khi mô hình nhìn thấy văn bản của bạn, trình mã thông báo sẽ chia văn bản đó thành các mã thông báo, thường là các đoạn từ phụ thay vì toàn bộ từ hoặc các chữ cái đơn lẻ. Từ 'bất hạnh' có thể trở thành 'không', 'hạnh phúc' hoặc 'mã thông báo' có thể được chia thành 'mã thông báo' và 'sự hóa'. Các từ phổ biến thường ánh xạ tới một mã thông báo duy nhất, trong khi các từ, tên hoặc mã hiếm được chia thành nhiều. Mỗi mã thông báo sau đó được ánh xạ tới một số ID mà mô hình chuyển đổi thành vectơ. Điều này thực tế quan trọng vì các mô hình có cửa sổ ngữ cảnh cố định được đo bằng mã thông báo và tính phí API cho mỗi mã thông báo, do đó, quy tắc chung bằng tiếng Anh sơ bộ là khoảng 4 ký tự hoặc 0,75 từ cho mỗi mã thông báo. Mã thông báo cũng giải thích những điều kỳ quặc của mô hình cổ điển: việc đếm các chữ cái hoặc đánh vần chính xác rất khó vì mô hình nhìn thấy các khối chứ không phải các ký tự riêng lẻ.
Hiểu biết kỹ thuật
Hầu hết các LLM hiện đại đều sử dụng mã thông báo từ phụ như Mã hóa cặp byte (BPE) hoặc các biến thể cấp byte của nó. BPE bắt đầu từ các ký tự và liên tục hợp nhất các cặp liền kề thường xuyên nhất để xây dựng vốn từ vựng cố định (thường là 30.000 đến hơn 100.000 mã thông báo). Điều này cân bằng hai thái cực: mã thông báo cấp độ từ không thể xử lý các từ không nhìn thấy, trong khi cấp độ ký tự khiến các chuỗi rất dài. Từ phụ cho phép mô hình đại diện cho bất kỳ chuỗi nào, bao gồm cả lỗi chính tả và từ mới, bằng cách kết hợp các phần đã biết trong khi vẫn giữ các chuỗi ngắn hợp lý.
Tác động chiến lược
Quyết định rõ ràng hơn
Nó giúp bạn tách biệt các tuyên bố kỹ thuật rõ ràng khỏi ngôn ngữ tiếp thị.
Chi phí và ngân sách
Bạn có thể đặt các câu hỏi triển khai tốt hơn trước khi chi tiền hoặc thời gian.
Nhóm và quy trình làm việc
Các nhóm có sự hiểu biết chung sẽ đưa ra các quyết định về sản phẩm, chính sách và học tập tốt hơn.
Tương lai của Token hóa
Mã thông báo là một lĩnh vực nghiên cứu tích cực chính xác vì nó hạn chế tính hiệu quả và tính công bằng. Các ngôn ngữ mã hóa thành nhiều phần hơn sẽ có chi phí cao hơn và sử dụng hết ngữ cảnh nhanh hơn, vì vậy, sự công bằng trong đa ngôn ngữ là mối quan tâm thực sự đang được giải quyết bằng từ vựng tốt hơn, cân bằng hơn. Các nhà nghiên cứu cũng đang khám phá các mô hình cấp độ byte hoặc không có mã thông báo (như ByT5) và mã thông báo đã học có thể loại bỏ hoàn toàn bước điều chỉnh thủ công dễ vỡ. Hiện tại, hãy mong đợi vốn từ vựng lớn hơn, công cụ mã thông báo đa ngôn ngữ thông minh hơn và nhận thức ngày càng tăng của người dùng về việc định giá dựa trên mã thông báo và lập ngân sách theo ngữ cảnh.
Triển khai trong thế giới thực
Giá API cho các mô hình như GPT và Claude được tính phí theo mã thông báo đầu vào và đầu ra, do đó số lượng mã thông báo ảnh hưởng trực tiếp đến chi phí.
Giới hạn cửa sổ ngữ cảnh (ví dụ: 128K hoặc 200K mã thông báo) được đo bằng mã thông báo, giới hạn số lượng văn bản hoặc mã bạn có thể đưa vào.
Các nhà phát triển sử dụng công cụ mã thông báo (chẳng hạn như tiktoken) để ước tính kích thước lời nhắc và cắt bớt nội dung trước khi gửi yêu cầu.
Mã thông báo giải thích lý do tại sao các mô hình gặp khó khăn khi đếm các chữ cái trong một từ hoặc đảo ngược một chuỗi, vì chúng nhìn thấy các đoạn từ phụ chứ không phải các ký tự.
Rủi ro & lan can
Các nhóm khác nhau có thể sử dụng cùng một thuật ngữ một cách khác nhau, vì vậy hãy sớm xác định phạm vi.
Điểm chuẩn có thể trông mạnh mẽ trong khi hiệu suất trong thế giới thực không đồng đều.
Việc bỏ qua các kế hoạch đánh giá và chất lượng dữ liệu thường tạo ra những kết quả mong manh.
Lộ trình thực hiện
Bắt đầu với một định nghĩa đơn giản về kết quả bạn cần.
Chọn một số liệu thành công và một điều kiện thất bại trước khi thử nghiệm.
Chạy một thử nghiệm nhỏ với dữ liệu đại diện chứ không phải một bản demo bóng bẩy.
Tài liệu giúp việc sử dụng mã thông báo và các phương pháp đơn giản hơn sẽ tốt hơn.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Mã thông báo SentencePiece
Câu hỏi thường gặp
What is Tokenization?
Mã thông báo là bước cắt văn bản thành các phần nhỏ hơn gọi là mã thông báo, đơn vị mà mô hình ngôn ngữ thực sự đọc và dự đoán. Nó lặng lẽ định hình chi phí, giới hạn ngữ cảnh và thậm chí cả mức độ mô hình xử lý chính tả và các từ hiếm.
'Mã thông báo' trong ngữ cảnh của mô hình ngôn ngữ là gì?
Mã thông báo là đơn vị mà mô hình xử lý, thường là các đoạn từ phụ, đôi khi là toàn bộ từ hoặc ký tự đơn.
Hầu hết các LLM hiện đại sử dụng phương pháp mã thông báo nào?
Các phương pháp từ con như BPE hợp nhất các cặp ký tự thường xuyên, cân bằng các điểm yếu của cách tiếp cận cấp độ từ và cấp độ ký tự thuần túy.
Tại sao quá trình mã hóa lại khiến các nhiệm vụ như đếm các chữ cái trong một từ trở nên khó khăn đối với LLM?
Vì văn bản được nhóm thành các mã thông báo từ phụ nên mô hình không nhận biết trực tiếp từng ký tự, khiến cho các tác vụ ở cấp độ chữ cái dễ bị lỗi.
Tại sao mã thông báo lại quan trọng đối với giới hạn ngữ cảnh và chi phí API?
Hóa đơn của nhà cung cấp cho mỗi mã thông báo và cửa sổ ngữ cảnh được tính bằng mã thông báo, vì vậy số lượng mã thông báo sẽ quyết định cả giá và số tiền bạn có thể thêm vào.
Tại sao cùng một câu có thể có giá cao hơn ở một số ngôn ngữ so với tiếng Anh?
Từ vựng được đào tạo chủ yếu bằng tiếng Anh sẽ chia các ngôn ngữ khác thành nhiều mã thông báo hơn, làm tăng chi phí và sử dụng ngữ cảnh nhanh hơn.