Cửa sổ ngữ cảnh là gì? Sự định nghĩa | AI Understanding

Định nghĩa

Số lượng mã thông báo đầu vào tối đa mà một mô hình ngôn ngữ có thể xử lý cùng một lúc.

Điều khoản liên quan

Mã thông báo

Quá trình tách văn bản thành các token để nhập vào mô hình.

Trôi dữ liệu

Sự thay đổi dữ liệu đầu vào trong thế giới thực theo thời gian có thể làm giảm hiệu suất của mô hình.

Mô hình đa phương thức

Một mô hình có thể xử lý hoặc tạo ra nhiều loại dữ liệu như văn bản, hình ảnh và âm thanh.

Một thước đo mô hình ngôn ngữ đo lường mức độ ngạc nhiên của mô hình đối với các mã thông báo tiếp theo thực sự.

Các hướng dẫn đầu vào và ngữ cảnh được cung cấp cho một mô hình tổng quát.

Cửa sổ trượt Chú ý

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Model Context Protocol Position Interpolation for Context Extension YaRN Context Window Scaling YaRN and Context Length Extension

Xem thêm

Computer Vision Continual Learning Compute Convolutional Neural Network (CNN)CLIP Cross-Entropy Loss Classifier Data Augmentation

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí