Istilah Glosarium AI

Apa itu Tali (Penyematan Posisi Putar)?

Definisi

Metode pengkodean posisi yang memutar kueri dan vektor kunci untuk mengkodekan posisi token relatif.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Pengkodean PosisiInformasi ditambahkan ke penyematan token sehingga transformator dapat membedakan urutan urutan.AliBiMetode bias posisional yang memberikan penalti pada skor perhatian berdasarkan jarak tertentu, membantu model melakukan ekstrapolasi ke konteks yang lebih panjang.RAG-FusiMetode pengambilan yang menghasilkan beberapa varian kueri, mengambil hasil untuk masing-masing varian, dan menggabungkan peringkat.ANN (Perkiraan Tetangga Terdekat)Algoritma yang menemukan vektor yang mendekati kueri tanpa perbandingan menyeluruh, memperdagangkan ketepatan demi kecepatan.RAG (Generasi Augmented Pengambilan)Sebuah metode yang mengambil pengetahuan eksternal dan memasukkannya ke dalam generasi pada waktu inferensi.Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF)Sebuah metode pelatihan yang menggunakan sinyal preferensi manusia untuk membentuk perilaku model.

Pelajari lebih lanjut di panduan gratis kami

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Lihat juga

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts