Thuật ngữ thuật ngữ AI

Cơ chế chú ý là gì?

Định nghĩa

Một thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Bộ mã hóaThành phần của mô hình biến đổi đầu vào thành các biểu diễn tiềm ẩn.Chú ý nhiều đầuMột cơ chế biến áp chạy song song một số thao tác chú ý để nắm bắt các loại mối quan hệ khác nhau.ALiBiMột phương pháp sai lệch vị trí nhằm xử phạt điểm chú ý dựa trên khoảng cách mã thông báo, giúp các mô hình ngoại suy cho các bối cảnh dài hơn.Phân loạiNhiệm vụ trong đó mô hình gán đầu vào cho một hoặc nhiều danh mục được xác định trước.Cửa sổ ngữ cảnhSố lượng mã thông báo đầu vào tối đa mà một mô hình ngôn ngữ có thể xử lý cùng một lúc.Trôi dữ liệuSự thay đổi dữ liệu đầu vào trong thế giới thực theo thời gian có thể làm giảm hiệu suất của mô hình.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Xem thêm

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark