Thuật ngữ thuật ngữ AI

cái gì là ALiBi?

Định nghĩa

Một phương pháp sai lệch vị trí nhằm xử phạt điểm chú ý dựa trên khoảng cách mã thông báo, giúp các mô hình ngoại suy cho các bối cảnh dài hơn.

Điều khoản liên quan

RoPE (Nhúng vị trí quay)
Phương pháp mã hóa vị trí xoay vòng truy vấn và vectơ khóa để mã hóa các vị trí mã thông báo tương đối.
Mã hóa vị trí
Thông tin được thêm vào phần nhúng mã thông báo để người biến áp có thể phân biệt thứ tự trình tự.
Cửa sổ trượt Chú ý
Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.
Xu hướng thuật toán
Sự không công bằng có hệ thống trong kết quả đầu ra của mô hình do dữ liệu, giả định hoặc lựa chọn mô hình bị sai lệch.
Cơ chế chú ý
Một thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.
thiên vị
Một dạng lỗi hoặc sự không công bằng nhất quán trong dữ liệu hoặc hành vi của mô hình.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

ALiBi Position Bias

Xem thêm

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí