SeterusnyaPanduan seterusnya
Perhatian Linear dan Inti Pelaku
Teknikal
PANDUAN AI Bahasa
RWKV ialah seni bina yang melatih seperti Transformer tetapi menjalankan inferens seperti rangkaian berulang, memberikan masa linear, penjanaan ingatan malar.
Dengar panduan iniAI-diceritakan · ~2 min
It reformulates attention so there is no quadratic cost and no growing key-value cache.
RWKV (disebut 'RwaKuv') bermaksud Penerimaan, Berat, Kunci, Nilai, empat elemen terasnya. Ia dicipta sebahagian besarnya sebagai projek terbuka yang didorong oleh komuniti yang diketuai oleh Bo Peng. Matlamatnya adalah untuk mengekalkan kebolehlatihan selari Transformers sambil menghapuskan inferens mahal mereka. Perhatian standard menyimpan cache nilai kunci yang berkembang dengan setiap token dan membandingkan setiap token baharu dengan semua token sebelumnya. RWKV sebaliknya membawa keadaan tersembunyi kecil bersaiz tetap ke hadapan, mengemas kininya dengan peraturan pereputan masa supaya maklumat lama pudar dengan lancar. Semasa latihan ia boleh dibuka dalam bentuk selari; semasa penjanaan ia bertindak sebagai RNN yang menghasilkan satu token pada satu masa pada kos tetap. Ini menjadikannya menarik untuk konteks yang panjang dan penggunaan terhad sumber.
Menjalankan model sembang sumber terbuka yang berkebolehan pada CPU atau peranti memori rendah dengan memori tetap setiap token
Penstriman penjanaan teks di mana token dihasilkan satu demi satu tanpa cache yang semakin meningkat
Pemprosesan dokumen panjang yang mana cache nilai kunci Transformer akan menjadi sangat besar
Projek model komuniti dan berbilang bahasa yang memerlukan seni bina yang cekap dan berlesen secara terbuka
RWKV telah berulang dengan pantas melalui versi (v4, v5 Eagle, v6 Finch dan seterusnya), mengecilkan jurang kualiti dengan Transformers sambil mengekalkan kos linear. Jangkakan pertumbuhan berterusan dalam model berbilang bahasa terbuka, penggunaan kelebihan dan CPU di mana ingatan berterusan penting, dan reka bentuk hibrid. Inferens berulang sepenuhnya menjadikannya calon yang kuat untuk aplikasi penstriman dan konteks yang sangat panjang di mana cache nilai kunci sebaliknya akan meletup.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
RWKV ialah seni bina yang melatih seperti Transformer tetapi menjalankan inferens seperti rangkaian berulang, memberikan masa linear, penjanaan ingatan malar. Ia merumuskan semula perhatian supaya tiada kos kuadratik dan tiada cache nilai kunci yang semakin meningkat.
Matlamat reka bentuk RWKV ialah latihan gaya Transformer selari digabungkan dengan inferens kos berterusan yang berulang.
RWKV dinamakan sempena empat komponennya: Penerimaan, Berat, Kunci dan Nilai.
Seperti RNN, RWKV mengemas kini keadaan saiz tetap setiap langkah, jadi ingatan tidak berkembang dengan panjang jujukan.
Berat pereputan setiap saluran yang dipelajari menentukan seberapa pantas kekunci melepasi pudar dalam keadaan berjalan.
Dengan menggunakan pengulangan, RWKV mengetepikan setiap token kepada setiap token lain, mengalih keluar kos kuadratik.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Perhatian Linear dan Inti Pelaku
Teknikal