RoPE (Nhúng vị trí quay) là gì? Định nghĩa | AI Understanding

Định nghĩa

Phương pháp mã hóa vị trí xoay vòng truy vấn và vectơ khóa để mã hóa các vị trí mã thông báo tương đối.

Điều khoản liên quan

Mã hóa vị trí

Thông tin được thêm vào phần nhúng mã thông báo để người biến áp có thể phân biệt thứ tự trình tự.

Một phương pháp sai lệch vị trí nhằm xử phạt điểm chú ý dựa trên khoảng cách mã thông báo, giúp các mô hình ngoại suy cho các bối cảnh dài hơn.

Một phương pháp truy xuất tạo ra nhiều biến thể truy vấn, truy xuất kết quả cho từng biến thể và hợp nhất thứ hạng.

ANN (Hàng xóm gần nhất gần nhất)

Các thuật toán tìm vectơ gần với truy vấn mà không so sánh toàn diện, đánh đổi độ chính xác để lấy tốc độ.

RAG (Thế hệ tăng cường truy xuất)

Một phương pháp truy xuất kiến thức bên ngoài và đưa nó vào thế hệ tại thời điểm suy luận.

Học tăng cường từ phản hồi của con người (RLHF)

Một phương pháp đào tạo sử dụng tín hiệu ưu tiên của con người để định hình hành vi của mô hình.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

Xem thêm

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí