Interpolasi Posisi untuk Kuis Konteks Panjang

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa ide inti di balik Interpolasi Posisi?
   • Memasukkan indeks posisi baru ke dalam rentang model yang sudah dilatih
   • Melatih model baru dari awal untuk setiap panjangnya
   • Menghapus informasi posisi seluruhnya
   • Menyortir token berdasarkan kepentingannya
2. Mengapa ekstrapolasi naif ke posisi yang lebih panjang gagal?
   • Ini menggunakan terlalu sedikit memori
   • Hal ini dapat meningkatkan skor perhatian ke nilai yang sangat besar dan tidak stabil
   • Itu selalu mengembalikan token yang sama
   • Ini memerlukan tokenizer yang berbeda
3. Kira-kira berapa banyak penyesuaian yang diperlukan oleh pekerjaan PI asli untuk memperluas LLaMA hingga 32K?
   • Tidak ada penyesuaian sama sekali
   • Sekitar 1 juta langkah
   • Sekitar 1.000 langkah
   • Latihan pra-latihan penuh
4. Jika Anda memperluas konteks dengan faktor s, bagaimana PI mengubah posisi m?
   • Ini memetakan m ke m kali s
   • Ini memetakan m ke m kuadrat
   • Itu membuat m tidak berubah
   • Ini memetakan m ke m dibagi s
5. Bagaimana PI memengaruhi metode selanjutnya seperti YaRN?
   • Ini menjadi dasar perbaikan metode sadar frekuensi
   • Itu ditinggalkan dan tidak pernah dikutip
   • Ini menggantikan arsitektur Transformer
   • Ini hanya berlaku untuk model gambar
6. Pengkodean posisi manakah yang terutama ditargetkan oleh Interpolasi Posisi?
   • Pengkodean satu-panas
   • Tali (Penyematan Posisi Putar)
   • Vektor Word2Vec
   • Kumpulan kata-kata itu penting
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000