cái gì là Mã thông báo?

Số lượng mã thông báo đầu vào tối đa mà một mô hình ngôn ngữ có thể xử lý cùng một lúc.

Thuật toán mã thông báo từ phụ hợp nhất các cặp ký tự thường gặp nhất thành các mã thông báo có thể sử dụng lại.

Thành phần của mô hình biến đổi đầu vào thành các biểu diễn tiềm ẩn.

Một mô hình có thể xử lý hoặc tạo ra nhiều loại dữ liệu như văn bản, hình ảnh và âm thanh.

Công nghệ chuyển đổi văn bản trong hình ảnh hoặc quét thành văn bản có thể đọc được bằng máy.

Trình mã thông báo bất khả tri về ngôn ngữ học các đơn vị từ phụ trực tiếp từ văn bản thô mà không cần phân tách trước khoảng trắng.