Thuật ngữ thuật ngữ AI

Chú ý nhiều đầu là gì?

Định nghĩa

Một cơ chế biến áp chạy song song một số thao tác chú ý để nắm bắt các loại mối quan hệ khác nhau.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Máy biến ápMột kiến trúc thần kinh sử dụng sự chú ý để mô hình hóa các mối quan hệ song song giữa các chuỗi.Truy xuất nhiều truy vấnMột kỹ thuật truy xuất viết lại truy vấn của người dùng thành nhiều biến thể để cải thiện khả năng thu hồi.Cơ chế chú ýMột thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.Chú ý chớp nhoángMột thuật toán chú ý được tối ưu hóa giúp giảm mức sử dụng bộ nhớ và tăng tốc quá trình đào tạo và suy luận của máy biến áp.Mô hình đa phương thứcMột mô hình có thể xử lý hoặc tạo ra nhiều loại dữ liệu như văn bản, hình ảnh và âm thanh.Sơ đồ tri thứcCấu trúc biểu đồ của các thực thể và mối quan hệ được sử dụng để suy luận hoặc truy xuất.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Xem thêm

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct