Thuật ngữ thuật ngữ AI

Chú ý chớp nhoáng là gì?

Định nghĩa

Một thuật toán chú ý được tối ưu hóa giúp giảm mức sử dụng bộ nhớ và tăng tốc quá trình đào tạo và suy luận của máy biến áp.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Cửa hàng tính năngMột hệ thống được quản lý để lưu trữ và cung cấp các tính năng ML đã được xác thực một cách nhất quán cho hoạt động đào tạo và suy luận.Lan truyền ngượcThuật toán đào tạo cốt lõi cập nhật trọng số mô hình bằng cách truyền ngược các lỗi dự đoán qua mạng.Lượng tử hóa mô hìnhGiảm độ chính xác về số của trọng số mô hình để giảm chi phí bộ nhớ và suy luận.Máy biến ápMột kiến trúc thần kinh sử dụng sự chú ý để mô hình hóa các mối quan hệ song song giữa các chuỗi.Mất huấn luyệnGiá trị lỗi mô hình được tính toán trong quá trình đào tạo và được tối ưu hóa giảm dần theo thời gian.Chú ý nhiều đầuMột cơ chế biến áp chạy song song một số thao tác chú ý để nắm bắt các loại mối quan hệ khác nhau.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Xem thêm

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop