Chú ý nhiều đầu là gì? Sự định nghĩa | AI Understanding

Định nghĩa

Một cơ chế biến áp chạy song song một số thao tác chú ý để nắm bắt các loại mối quan hệ khác nhau.

Điều khoản liên quan

Máy biến áp

Một kiến trúc thần kinh sử dụng sự chú ý để mô hình hóa các mối quan hệ song song giữa các chuỗi.

Truy xuất nhiều truy vấn

Một kỹ thuật truy xuất viết lại truy vấn của người dùng thành nhiều biến thể để cải thiện khả năng thu hồi.

Cơ chế chú ý

Một thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.

Chú ý chớp nhoáng

Một thuật toán chú ý được tối ưu hóa giúp giảm mức sử dụng bộ nhớ và tăng tốc quá trình đào tạo và suy luận của máy biến áp.

Mô hình đa phương thức

Một mô hình có thể xử lý hoặc tạo ra nhiều loại dữ liệu như văn bản, hình ảnh và âm thanh.

Sơ đồ tri thức

Cấu trúc biểu đồ của các thực thể và mối quan hệ được sử dụng để suy luận hoặc truy xuất.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

Xem thêm

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí