Mã hóa mã thông báo và cặp byte

Mã thông báo chia văn bản thành các đơn vị nhỏ mà mô hình ngôn ngữ thực sự đọc và Mã hóa cặp byte (BPE) là phương pháp phổ biến để xây dựng vốn từ vựng đó. Nó cân bằng giữa việc có được từ vựng dễ quản lý và việc xử lý bất kỳ từ nào mà mô hình có thể gặp phải.

Mô hình hoạt động trên mã thông báo — ID số nguyên đại diện cho ký tự, từ phụ hoặc từ — thay vì chuỗi văn bản thô.

BPE bắt đầu từ các ký tự hoặc byte và nhanh chóng hợp nhất các cặp liền kề thường xuyên nhất, dần dần hình thành các mã thông báo từ phụ phổ biến.

Từ vựng ở cấp độ từ không thể sử dụng được những từ không nhìn thấy được; Mã thông báo từ phụ chia các từ hiếm thành các phần đã biết, tránh các vấn đề về từ vựng trong khi vẫn quản lý được từ vựng.

Hoạt động trên byte thô có nghĩa là mọi đầu vào có thể đều có thể được mã hóa, do đó không có ký tự thực sự không xác định nào bất kể ngôn ngữ hoặc ký hiệu.

Mã thông báo từ phụ có thể chia một từ thành nhiều đoạn và nhạy cảm với khoảng cách và chữ hoa chữ thường, do đó số lượng mã thông báo hiếm khi bằng số lượng từ.