Pembelajaran Dalam Konteks
Pembelajaran dalam konteks ialah keupayaan mengejutkan model bahasa besar untuk mengambil tugas baharu daripada beberapa contoh yang diletakkan dalam gesaan, tanpa sebarang latihan semula.
Gambaran keseluruhan
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Menyelam dalam
Biasanya, mengajar rangkaian saraf tugas baharu bermakna mengemas kini pemberatnya melalui latihan. Pembelajaran dalam konteks adalah berbeza: anda menulis beberapa contoh terus dalam gesaan ('konteks'), dan model menyimpulkan corak dan menggunakannya pada input baharu. Tiada apa-apa di dalam model berubah; contoh hanya mengemudi ramalan token seterusnya. Anda akan mendengar 'sifar-shot' (arahan sahaja), 'one-shot' (satu contoh), dan 'few-shot' (beberapa contoh). Tingkah laku ini telah dipopularkan oleh GPT-3 pada tahun 2020 dan ternyata menjadi kebolehan yang muncul: model kecil tidak dapat melakukannya, tetapi melepasi kira-kira 100 bilion skala parameter, ketepatan pada gesaan beberapa pukulan meningkat dengan mendadak. Model secara berkesan belajar untuk mengenali dan meneruskan corak semasa pralatihan, jadi ia boleh menggunakan semula kemahiran itu pada masa inferens.
Wawasan Teknikal
Penyelidikan kebolehtafsiran mengesan kebanyakan keupayaan ini untuk 'kepala aruhan' — litar perhatian yang muncul semasa latihan dan melakukan padanan awalan kabur: mereka mengimbas kembali tempat token serupa muncul, kemudian menyalin perkara yang mengikutinya. Jadi apabila gesaan anda menunjukkan 'epal -> buah, lobak merah -> sayur', model itu sepadan dengan struktur dan meramalkan label yang betul untuk item seterusnya. Yang penting, tiada aliran kecerunan dan tiada kemas kini pemberat pada inferens. Contoh-contoh tersebut hanya membentuk semula pengaktifan yang memberi makan taburan kebarangkalian token seterusnya.
Kesan Strategik
Kelajuan dan skala
Aliran kerja bahasa boleh bergerak lebih pantas tanpa mengorbankan konsistensi.
Akses dan capai
Ia meluaskan akses merentas bahasa dan gaya komunikasi.
Keputusan yang lebih jelas
Pasukan boleh menghabiskan lebih banyak masa untuk membuat pertimbangan manakala automasi mengendalikan pengulangan.
Masa Depan Pembelajaran Dalam Konteks
Memperluas tetingkap konteks (kini ratusan ribu token) mendorong pembelajaran dalam konteks ke arah rejim 'banyak pukulan', di mana berpuluh-puluh atau ratusan contoh boleh menandingi penalaan halus untuk beberapa tugasan, tanpa kos latihan. Jangkakan penyepaduan yang lebih ketat dengan pengambilan semula, jadi contoh yang berkaitan diambil secara automatik dan teori yang lebih baik apabila pembelajaran dalam konteks gagal atau terganggu. Ia akan kekal sebagai cara yang pantas dan murah untuk menyesuaikan model, melengkapkan — bukan menggantikan — menala halus untuk tugasan yang stabil dan volum tinggi.
Pelaksanaan Dunia Sebenar
Memberi chatbot tiga contoh tiket sokongan dan kategorinya, kemudian mengklasifikasikan tiket baharu dengan cara yang sama
Menunjukkan model dua sebelum/selepas pasangan teks berantakan yang diformatkan semula menjadi JSON bersih supaya ia menukar yang lain
Menampal beberapa contoh penerangan produk dalam nada jenama anda supaya yang baharu sepadan dengan gaya
Menunjukkan masalah perkataan matematik rumit yang berfungsi langkah demi langkah supaya model menyelesaikan masalah yang sama dengan format penaakulan yang sama
Risiko & Pengawal
Fakta halusinasi boleh memasukkan laporan, aliran sokongan atau hasil penyelidikan secara senyap-senyap.
Sensitiviti segera boleh mencipta hasil yang tidak konsisten merentas permintaan yang serupa.
Data teks sensitif mungkin terdedah jika kawalan akses lemah.
Hala Tuju Pelaksanaan
Tentukan format output, nada dan standard kualiti sebelum pelancaran.
Respons asas dengan sumber yang dipercayai apabila ketepatan penting.
Simpan pusat pemeriksaan semakan manusia untuk output berkepentingan tinggi.
Jejaki corak kegagalan dan latih semula gesaan atau aliran kerja dengan kerap.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Windows Konteks
Soalan lazim
What is In-Context Learning?
Pembelajaran dalam konteks ialah keupayaan mengejutkan model bahasa besar untuk mengambil tugas baharu daripada beberapa contoh yang diletakkan dalam gesaan, tanpa sebarang latihan semula. Itulah sebabnya anda boleh 'mengajar' model dengan cepat hanya dengan menunjukkannya apa yang anda mahukan.
Apakah perubahan asas dalam model semasa pembelajaran dalam konteks?
Pembelajaran dalam konteks berlaku sepenuhnya secara inferens. Contoh dalam segera membentuk pengaktifan model dan ramalan token seterusnya, tetapi tiada pemberat dikemas kini.
Mengapakah pembelajaran dalam konteks digambarkan sebagai kebolehan 'emergensi'?
Keupayaan lemah atau tiada dalam model kecil dan mendaki dengan curam apabila model mencapai skala yang sangat besar, itulah sebabnya ia dipanggil emergent.
Mekanisme dalaman manakah yang paling dikaitkan dengan pembelajaran dalam konteks dalam transformer?
Kerja kebolehtafsiran mengenal pasti kepala induksi — litar perhatian yang mencari tempat token serupa muncul dan menyalin perkara seterusnya — sebagai pemacu teras pembelajaran dalam konteks.