Ikhtisar
Pembelajaran dalam konteks adalah kemampuan mengejutkan dari model bahasa besar untuk mengambil tugas baru dari beberapa contoh yang ditempatkan di prompt, tanpa pelatihan ulang apa pun. Ini adalah alasan Anda dapat 'mengajar' model dengan cepat hanya dengan menunjukkan apa yang Anda inginkan.
Pembelajaran Dalam Konteks adalah bagian dari tumpukan AI bahasa yang digunakan untuk membaca, menghasilkan, mengklasifikasikan, dan mengubah teks dan ucapan dalam skala besar.
Menyelam Lebih Dalam
Biasanya, mengajarkan tugas baru pada jaringan saraf berarti memperbarui bobotnya melalui pelatihan. Pembelajaran dalam konteks berbeda: Anda menulis beberapa contoh langsung di prompt ('konteks'), dan model menyimpulkan polanya dan menerapkannya ke masukan baru. Tidak ada perubahan di dalam model; contohnya hanya mengarahkan prediksi token berikutnya. Anda akan mendengar 'zero-shot' (hanya instruksi), 'one-shot' (satu contoh), dan 'few-shot' (beberapa contoh). Perilaku ini dipopulerkan oleh GPT-3 pada tahun 2020 dan ternyata merupakan kemampuan yang muncul: model berukuran kecil tidak dapat melakukannya, tetapi setelah melewati skala sekitar 100 miliar parameter, akurasi pada perintah beberapa pengambilan gambar meningkat tajam. Model tersebut secara efektif belajar mengenali dan melanjutkan pola selama pra-pelatihan, sehingga dapat menggunakan kembali keterampilan tersebut pada waktu inferensi.
Wawasan Teknis
Penelitian interpretasi menelusuri sebagian besar kemampuan ini ke 'kepala induksi' - sirkuit perhatian yang muncul selama pelatihan dan melakukan pencocokan awalan yang tidak jelas: mereka memindai kembali di mana token serupa muncul, lalu menyalin apa yang mengikutinya. Jadi, ketika perintah Anda menampilkan 'apel -> buah, wortel -> sayur', model akan mencocokkan struktur dan memprediksi label yang tepat untuk item berikutnya. Yang terpenting, tidak ada aliran gradien dan tidak ada pembaruan bobot pada inferensi. Contoh-contoh tersebut hanya membentuk ulang aktivasi yang memberi makan distribusi probabilitas token berikutnya.
Menguasai Pembelajaran Dalam Konteks
Pembelajaran dalam konteks adalah kemampuan mengejutkan dari model bahasa besar untuk mengambil tugas baru dari beberapa contoh yang ditempatkan di prompt, tanpa pelatihan ulang apa pun. Ini adalah alasan Anda dapat 'mengajar' model dengan cepat hanya dengan menunjukkan apa yang Anda inginkan. Pembelajaran Dalam Konteks adalah bagian dari tumpukan AI bahasa yang digunakan untuk membaca, menghasilkan, mengklasifikasikan, dan mengubah teks dan ucapan dalam skala besar. Untuk membangun pemahaman yang mendalam, perlakukan Pembelajaran Dalam Konteks sebagai model operasi, bukan fitur tunggal: tentukan hasil yang diinginkan, klarifikasi asumsi, dan pisahkan apa yang dapat dilakukan sistem dengan andal dari apa yang masih memerlukan penilaian ahli.
Dalam praktiknya, tim yang kuat menggunakan In-Context Learning merancang petunjuk, pengambilan, dan putaran peninjauan sebagai satu sistem komunikasi terintegrasi. Mereka mendokumentasikan kriteria keberhasilan yang eksplisit, menguji berdasarkan data dan alur kerja yang realistis, dan melakukan iterasi berdasarkan pola kegagalan yang diamati, bukan berdasarkan kemenangan tolok ukur yang hanya terjadi satu kali. Di sinilah pemahaman teoritis berubah menjadi kemampuan yang tahan lama di seluruh produk, kebijakan, dan operasi.
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi. Pada saat yang sama, fakta-fakta halusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian. Pendekatan yang paling tangguh adalah menggabungkan kecepatan eksperimen dengan disiplin tata kelola: menjalankan uji coba, menangkap bukti, menerbitkan catatan keputusan, dan terus memperbarui upaya perlindungan seiring dengan berkembangnya perilaku model, harapan pengguna, dan persyaratan peraturan.
Dampak Strategis
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Ini memperluas akses lintas bahasa dan gaya komunikasi. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan. Dalam penerapan berkualitas tinggi, hal ini diterjemahkan ke dalam aturan operasi yang terukur, batasan kepemilikan, dan ritual peninjauan berulang sehingga tim dapat meningkatkan kepercayaan diri alih-alih menskalakan ambiguitas.
Implementasi Dunia Nyata
Memberi chatbot tiga contoh tiket dukungan dan kategorinya, lalu mengklasifikasikan tiket baru dengan cara yang sama
Menampilkan model dua pasangan teks berantakan sebelum/sesudah diformat ulang menjadi JSON bersih sehingga mengubah sisanya
Tempelkan beberapa contoh deskripsi produk dengan warna merek Anda sehingga deskripsi baru sesuai dengan gayanya
Mendemonstrasikan soal kata matematika yang rumit dikerjakan langkah demi langkah sehingga model menyelesaikan soal serupa dengan format penalaran yang sama
Pola Implementasi
Pembelajaran Dalam Konteks dalam praktiknya
Memberi chatbot tiga contoh tiket dukungan dan kategorinya, lalu mengklasifikasikan tiket baru dengan cara yang sama.
Memberi chatbot tiga contoh tiket dukungan dan kategorinya, lalu mengklasifikasikan tiket baru dengan cara yang sama seperti Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Pembelajaran Dalam Konteks dalam praktiknya
Menampilkan model dua pasangan teks berantakan sebelum/sesudah diformat ulang menjadi JSON bersih sehingga mengubah sisanya.
Menampilkan model dua pasangan teks berantakan sebelum/sesudah diformat ulang menjadi JSON yang bersih sehingga mengubah sisanya. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Pembelajaran Dalam Konteks dalam praktiknya
Tempelkan beberapa contoh deskripsi produk dengan warna merek Anda sehingga deskripsi baru sesuai dengan gayanya.
Menempelkan beberapa contoh deskripsi produk dalam nuansa merek Anda sehingga yang baru sesuai dengan gaya Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus ekstrem, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Pembelajaran Dalam Konteks dalam praktiknya
Mendemonstrasikan soal kata matematika yang rumit dikerjakan langkah demi langkah sehingga model menyelesaikan soal serupa dengan format penalaran yang sama.
Mendemonstrasikan permasalahan kata matematika yang rumit dikerjakan langkah demi langkah sehingga model memecahkan masalah serupa dengan format penalaran yang sama. Tim biasanya mendapatkan hasil yang lebih baik ketika mereka menentukan ambang batas kualitas di awal, menjaga jalur eskalasi manusia untuk kasus-kasus edge, dan melacak peningkatan produktivitas dan biaya kesalahan dari waktu ke waktu.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Tentukan format output, nada, dan standar kualitas sebelum peluncuran. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur. Perlakukan setiap langkah sebagai gerbang bukti: jika kriteria tidak terpenuhi, jeda peluncuran, tutup kesenjangan, dan baru kemudian perluas penggunaan.