Thuật ngữ thuật ngữ AI

cái gì là câuMảnh?

Định nghĩa

Trình mã thông báo bất khả tri về ngôn ngữ học các đơn vị từ phụ trực tiếp từ văn bản thô mà không cần phân tách trước khoảng trắng.

Điều khoản liên quan

KẸP
Một kiến trúc mô hình đa phương thức học cách biểu diễn chung giữa văn bản và hình ảnh.
Học tập liên tục
Các phương pháp đào tạo cho phép mô hình tiếp tục học hỏi từ dữ liệu mới mà không quên kiến thức trước đó.
Học tập trong bối cảnh
Khả năng của mô hình để làm theo các mẫu từ các ví dụ được cung cấp trực tiếp trong lời nhắc.
Phân loại ý định
Dự đoán mục đích của người dùng từ một truy vấn văn bản để định tuyến chính xác.
Mô hình ngôn ngữ lớn (LLM)
Một mô hình ngôn ngữ được đào tạo trên kho văn bản lớn để tạo và phân tích văn bản.
Mã thông báo
Một đoạn văn bản được xử lý bằng mô hình ngôn ngữ, chẳng hạn như một đoạn từ hoặc ký hiệu.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

SentencePiece Tokenization

Xem thêm

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí