Thuật ngữ thuật ngữ AI

cái gì là Cửa sổ trượt Chú ý?

Định nghĩa

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Điều khoản liên quan

Cắt tỉa
Loại bỏ các trọng số hoặc nơ-ron mô hình ít quan trọng hơn để giảm kích thước và tính toán.
Thanh toán dựa trên việc sử dụng
Định giá khi chi phí tăng theo lệnh gọi API, mã thông báo, thời gian suy luận hoặc điện toán tiêu thụ.
Luật mở rộng quy mô
Một mối quan hệ thực nghiệm cho thấy hiệu suất được cải thiện như thế nào với kích thước mô hình, dữ liệu hoặc tính toán.
Mô hình thưa thớt
Một mô hình có nhiều tham số bằng 0 hoặc không hoạt động để giảm tính toán.
Giải mã suy đoán
Một phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.
Cửa sổ ngữ cảnh
Số lượng mã thông báo đầu vào tối đa mà một mô hình ngôn ngữ có thể xử lý cùng một lúc.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Xem thêm

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW
Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí