Thuật ngữ thuật ngữ AI

ALiBi là gì?

Định nghĩa

Một phương pháp sai lệch vị trí nhằm xử phạt điểm chú ý dựa trên khoảng cách mã thông báo, giúp các mô hình ngoại suy cho các bối cảnh dài hơn.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

RoPE (Nhúng vị trí quay)Phương pháp mã hóa vị trí xoay vòng truy vấn và vectơ khóa để mã hóa các vị trí mã thông báo tương đối.Mã hóa vị tríThông tin được thêm vào phần nhúng mã thông báo để người biến áp có thể phân biệt thứ tự trình tự.Cửa sổ trượt Chú ýMột mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.Xu hướng thuật toánSự không công bằng có hệ thống trong kết quả đầu ra của mô hình do dữ liệu, giả định hoặc lựa chọn mô hình bị sai lệch.Cơ chế chú ýMột thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.thiên vịMột dạng lỗi hoặc sự không công bằng nhất quán trong dữ liệu hoặc hành vi của mô hình.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

ALiBi Position Bias

Xem thêm

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)