Thuật ngữ thuật ngữ AI

Mã hóa vị trí là gì?

Định nghĩa

Thông tin được thêm vào phần nhúng mã thông báo để người biến áp có thể phân biệt thứ tự trình tự.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

RoPE (Nhúng vị trí quay)Phương pháp mã hóa vị trí xoay vòng truy vấn và vectơ khóa để mã hóa các vị trí mã thông báo tương đối.ALiBiMột phương pháp sai lệch vị trí nhằm xử phạt điểm chú ý dựa trên khoảng cách mã thông báo, giúp các mô hình ngoại suy cho các bối cảnh dài hơn.Tinh chỉnh tham số hiệu quả (PEFT)Các phương pháp điều chỉnh mô hình bằng cách huấn luyện một tập hợp con các tham số được thêm vào.AGI (Trí tuệ tổng hợp nhân tạo)Một hệ thống AI giả định có thể thực hiện hầu hết các nhiệm vụ trí tuệ ở cấp độ con người trên nhiều lĩnh vực.Đặc vụ AIMột hệ thống phần mềm có thể quan sát, suy luận và thực hiện các hành động để đạt được mục tiêu, thường sử dụng các công cụ và bộ nhớ.Chú thíchCác nhãn hoặc siêu dữ liệu do con người thêm vào dùng để đào tạo hoặc đánh giá các mô hình học máy.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Xem thêm

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece