Thuật ngữ thuật ngữ AI

câuMảnh là gì?

Định nghĩa

Trình mã thông báo bất khả tri về ngôn ngữ học các đơn vị từ phụ trực tiếp từ văn bản thô mà không cần phân tách trước khoảng trắng.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

KẸPMột kiến trúc mô hình đa phương thức học cách biểu diễn chung giữa văn bản và hình ảnh.Học tập liên tụcCác phương pháp đào tạo cho phép mô hình tiếp tục học hỏi từ dữ liệu mới mà không quên kiến thức trước đó.Học tập trong bối cảnhKhả năng của mô hình để làm theo các mẫu từ các ví dụ được cung cấp trực tiếp trong lời nhắc.Phân loại ý địnhDự đoán mục đích của người dùng từ một truy vấn văn bản để định tuyến chính xác.Mô hình ngôn ngữ lớn (LLM)Một mô hình ngôn ngữ được đào tạo trên kho văn bản lớn để tạo và phân tích văn bản.Mã thông báoMột đoạn văn bản được xử lý bằng mô hình ngôn ngữ, chẳng hạn như một đoạn từ hoặc ký hiệu.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

SentencePiece Tokenization

Xem thêm

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search