Interpolasi Kedudukan untuk Kuiz Konteks Panjang

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah idea teras di sebalik Interpolasi Kedudukan?
   • Memerah indeks kedudukan baharu ke dalam julat model yang telah dilatih
   • Melatih model baharu dari awal untuk setiap panjang
   • Mengalih keluar maklumat kedudukan sepenuhnya
   • Isih token mengikut kepentingan
2. Mengapa ekstrapolasi naif kepada kedudukan yang lebih panjang gagal?
   • Ia menggunakan ingatan yang terlalu sedikit
   • Ia boleh meledakkan skor perhatian kepada nilai yang sangat besar dan tidak stabil
   • Ia sentiasa mengembalikan token yang sama
   • Ia memerlukan tokenizer yang berbeza
3. Secara kasar berapa banyak penalaan halus yang diperlukan oleh kerja PI asal untuk melanjutkan LLaMA kepada 32K?
   • Tiada penalaan halus sama sekali
   • Lebih kurang 1 juta langkah
   • Lebih kurang 1,000 langkah
   • Larian pralatihan penuh
4. Jika anda melanjutkan konteks dengan faktor s, bagaimanakah PI mengubah kedudukan m?
   • Ia memetakan m hingga m kali s
   • Ia memetakan m kepada m kuasa dua
   • Ia meninggalkan saya tidak berubah
   • Ia memetakan m kepada m dibahagikan dengan s
5. Bagaimanakah PI mempengaruhi kaedah kemudian seperti YaRN?
   • Ia menjadi garis dasar yang dipertingkatkan oleh kaedah menyedari kekerapan
   • Ia ditinggalkan dan tidak pernah disebut
   • Ia menggantikan seni bina Transformer
   • Ia hanya terpakai kepada model imej
6. Pengekodan kedudukan manakah yang disasarkan terutamanya oleh Interpolasi Kedudukan?
   • Pengekodan satu-panas
   • RoPE (Pembenaman Kedudukan Putar)
   • Vektor Word2Vec
   • Bag-of-words dikira
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000