Istilah Glosari AI

Apa itu Pengekodan Kedudukan?

Definisi

Maklumat ditambahkan pada pembenaman token supaya transformer boleh membezakan susunan jujukan.

Istilah berkaitan

RoPE (Pembenaman Kedudukan Putar)
Kaedah pengekodan kedudukan yang memutarkan pertanyaan dan vektor kunci untuk mengekod kedudukan token relatif.
ALiBi
Kaedah berat sebelah kedudukan yang menghukum skor perhatian berdasarkan jarak token, membantu model mengekstrapolasi kepada konteks yang lebih panjang.
Penalaan Halus Cekap Parameter (PEFT)
Kaedah yang menyesuaikan model dengan melatih subset kecil parameter tambahan.
AGI (Kecerdasan Am Buatan)
Sistem AI hipotetikal yang boleh melaksanakan kebanyakan tugas intelektual pada peringkat manusia merentas banyak domain.
Ejen AI
Sistem perisian yang boleh memerhati, menaakul dan mengambil tindakan untuk mencapai matlamat, selalunya menggunakan alatan dan ingatan.
Anotasi
Label atau metadata tambahan manusia yang digunakan untuk melatih atau menilai model pembelajaran mesin.

Ketahui lebih lanjut dalam panduan percuma kami

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

See also

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece
Semak imbas Glosari AI penuhTerokai semua panduan AI percuma