Thuật ngữ thuật ngữ AI

Mã thông báo là gì?

Định nghĩa

Một đoạn văn bản được xử lý bằng mô hình ngôn ngữ, chẳng hạn như một đoạn từ hoặc ký hiệu.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

AI tạo sinhHệ thống AI tạo ra nội dung mới như văn bản, hình ảnh, âm thanh, video hoặc mã.Mô hình ngôn ngữ lớn (LLM)Một mô hình ngôn ngữ được đào tạo trên kho văn bản lớn để tạo và phân tích văn bản.Mô hình đa phương thứcMột mô hình có thể xử lý hoặc tạo ra nhiều loại dữ liệu như văn bản, hình ảnh và âm thanh.câuMảnhTrình mã thông báo bất khả tri về ngôn ngữ học các đơn vị từ phụ trực tiếp từ văn bản thô mà không cần phân tách trước khoảng trắng.GSM8KMột chuẩn mực của các bài toán đố toán cấp lớp dùng để đánh giá khả năng suy luận từng bước trong các mô hình ngôn ngữ.Mã thông báoQuá trình tách văn bản thành các token để nhập vào mô hình.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction

Xem thêm

TemperatureSystem PromptTool UseSynthetic DataTop-k SamplingSupervised LearningTop-p (Nucleus) SamplingSparse Model