Istilah Glosarium AI

Apa itu Pengkodean Posisi?

Definisi

Informasi ditambahkan ke penyematan token sehingga transformator dapat membedakan urutan urutan.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Tali (Penyematan Posisi Putar)Metode pengkodean posisi yang memutar kueri dan vektor kunci untuk mengkodekan posisi token relatif.AliBiMetode bias posisional yang memberikan penalti pada skor perhatian berdasarkan jarak tertentu, membantu model melakukan ekstrapolasi ke konteks yang lebih panjang.Penyempurnaan Efisien Parameter (PEFT)Metode yang mengadaptasi model dengan melatih sebagian kecil parameter tambahan.AGI (Kecerdasan Umum Buatan)Sistem AI hipotetis yang dapat melakukan sebagian besar tugas intelektual pada tingkat manusia di banyak domain.Agen AISebuah sistem perangkat lunak yang dapat mengamati, menalar, dan mengambil tindakan untuk mencapai suatu tujuan, sering kali menggunakan alat dan memori.AnotasiLabel atau metadata yang ditambahkan manusia digunakan untuk melatih atau mengevaluasi model pembelajaran mesin.

Pelajari lebih lanjut di panduan gratis kami

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

Lihat juga

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece