Thuật ngữ thuật ngữ AI

Cửa sổ trượt Chú ý là gì?

Định nghĩa

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Cắt tỉaLoại bỏ các trọng số hoặc nơ-ron mô hình ít quan trọng hơn để giảm kích thước và tính toán.Thanh toán dựa trên việc sử dụngĐịnh giá khi chi phí tăng theo lệnh gọi API, mã thông báo, thời gian suy luận hoặc điện toán tiêu thụ.Luật mở rộng quy môMột mối quan hệ thực nghiệm cho thấy hiệu suất được cải thiện như thế nào với kích thước mô hình, dữ liệu hoặc tính toán.Mô hình thưa thớtMột mô hình có nhiều tham số bằng 0 hoặc không hoạt động để giảm tính toán.Giải mã suy đoánMột phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.Cửa sổ ngữ cảnhSố lượng mã thông báo đầu vào tối đa mà một mô hình ngôn ngữ có thể xử lý cùng một lúc.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Xem thêm

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW