Thuật ngữ thuật ngữ AI

RoPE (Nhúng vị trí quay) là gì?

Định nghĩa

Phương pháp mã hóa vị trí xoay vòng truy vấn và vectơ khóa để mã hóa các vị trí mã thông báo tương đối.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Mã hóa vị tríThông tin được thêm vào phần nhúng mã thông báo để người biến áp có thể phân biệt thứ tự trình tự.ALiBiMột phương pháp sai lệch vị trí nhằm xử phạt điểm chú ý dựa trên khoảng cách mã thông báo, giúp các mô hình ngoại suy cho các bối cảnh dài hơn.RAG-FusionMột phương pháp truy xuất tạo ra nhiều biến thể truy vấn, truy xuất kết quả cho từng biến thể và hợp nhất thứ hạng.ANN (Hàng xóm gần nhất gần nhất)Các thuật toán tìm vectơ gần với truy vấn mà không so sánh toàn diện, đánh đổi độ chính xác để lấy tốc độ.RAG (Thế hệ tăng cường truy xuất)Một phương pháp truy xuất kiến thức bên ngoài và đưa nó vào thế hệ tại thời điểm suy luận.Học tăng cường từ phản hồi của con người (RLHF)Một phương pháp đào tạo sử dụng tín hiệu ưu tiên của con người để định hình hành vi của mô hình.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Xem thêm

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts