Istilah Glosari AI

Apakah Pengekodan Kedudukan?

Definisi

Maklumat ditambahkan pada pembenaman token supaya transformer boleh membezakan susunan jujukan.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

RoPE (Pembenaman Kedudukan Putar)Kaedah pengekodan kedudukan yang memutarkan pertanyaan dan vektor kunci untuk mengekod kedudukan token relatif.ALiBiKaedah berat sebelah kedudukan yang menghukum skor perhatian berdasarkan jarak token, membantu model mengekstrapolasi kepada konteks yang lebih panjang.Penalaan Halus Cekap Parameter (PEFT)Kaedah yang menyesuaikan model dengan melatih subset kecil parameter tambahan.AGI (Kecerdasan Am Buatan)Sistem AI hipotetikal yang boleh melaksanakan kebanyakan tugas intelektual pada peringkat manusia merentas banyak domain.Ejen AISistem perisian yang boleh memerhati, menaakul dan mengambil tindakan untuk mencapai matlamat, selalunya menggunakan alatan dan ingatan.AnotasiLabel atau metadata tambahan manusia yang digunakan untuk melatih atau menilai model pembelajaran mesin.

Ketahui lebih lanjut dalam panduan percuma kami

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Lihat juga

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece