Thuật ngữ thuật ngữ AI

Mã thông báo là gì?

Định nghĩa

Quá trình tách văn bản thành các token để nhập vào mô hình.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Cửa sổ ngữ cảnhSố lượng mã thông báo đầu vào tối đa mà một mô hình ngôn ngữ có thể xử lý cùng một lúc.BPE (Mã hóa cặp byte)Thuật toán mã thông báo từ phụ hợp nhất các cặp ký tự thường gặp nhất thành các mã thông báo có thể sử dụng lại.Bộ mã hóaThành phần của mô hình biến đổi đầu vào thành các biểu diễn tiềm ẩn.Mô hình đa phương thứcMột mô hình có thể xử lý hoặc tạo ra nhiều loại dữ liệu như văn bản, hình ảnh và âm thanh.OCR (Nhận dạng ký tự quang học)Công nghệ chuyển đổi văn bản trong hình ảnh hoặc quét thành văn bản có thể đọc được bằng máy.câuMảnhTrình mã thông báo bất khả tri về ngôn ngữ học các đơn vị từ phụ trực tiếp từ văn bản thô mà không cần phân tách trước khoảng trắng.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Xem thêm

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning