Penyetelan Instruksi
Penyetelan instruksi adalah langkah pelatihan yang mengubah prediksi teks mentah menjadi model yang benar-benar mengikuti instruksi seperti 'meringkas ini' atau 'menulis balasan yang sopan'. Inilah yang membuat model dasar terasa berguna dan dapat dikendalikan.
Menyelam Lebih Dalam
Model bahasa dasar dilatih hanya untuk memprediksi token berikutnya pada teks web, jadi jika Anda mengetik pertanyaan, model tersebut mungkin akan melanjutkan dengan lebih banyak pertanyaan daripada menjawab. Penyetelan instruksi memperbaikinya. Ini adalah bentuk penyesuaian yang diawasi: model dilatih pada banyak pasangan (instruksi, respons ideal) yang mencakup ribuan tugas — penerjemahan, ringkasan, klasifikasi, Tanya Jawab, pengkodean, dan banyak lagi. Dengan melihat pola instruksi-kemudian-membantu-jawaban yang sama berulang kali, model mempelajari perilaku umum 'lakukan apa yang diminta pengguna', dan ini digeneralisasikan ke instruksi yang tidak pernah dilihat dalam pelatihan. Pendekatan ini dibuat sekitar tahun 2021 melalui karya seperti FLAN, T0, dan Natural instruction, dan merupakan inti dari InstructGPT OpenAI, yang menyempurnakan GPT-3 pada serangkaian perintah instruksi yang dikurasi. Ini adalah fondasi yang menjadi dasar sebagian besar asisten obrolan.
Wawasan Teknis
Secara mekanis, penyetelan instruksi adalah pembelajaran standar yang diawasi: meminimalkan perbedaan antara token prediksi model dan jawaban referensi, dengan gradien memperbarui bobot. Hal ini berbeda dari RLHF (pembelajaran penguatan dari umpan balik manusia), yang muncul setelah dan mengoptimalkan preferensi manusia menggunakan model penghargaan. Resep yang biasa dilakukan berlapis-lapis: pra-latihan, lalu instruksi-tune (SFT) untuk mengajarkan mengikuti tugas, lalu opsional RLHF untuk menyempurnakan nada, kegunaan, dan keamanan. Keberagaman data lebih penting daripada volume semata — cakupan tugas yang luas mendorong generalisasi.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Penyetelan Instruksi
Bidang ini beralih dari kumpulan data besar yang ditulis tangan ke data berkualitas lebih tinggi, sebagian data sintetis — terkadang hanya beberapa ribu contoh yang dipilih dengan cermat — setelah ditemukan bahwa kualitas data dapat mengalahkan kuantitas. Harapkan lebih banyak penyesuaian instruksi khusus domain (medis, hukum, pengkodean), set instruksi multibahasa dan multimodal, dan saluran otomatis yang menghasilkan dan memfilter data instruksi. Penyetelan instruksi akan tetap menjadi jembatan penting antara model mentah yang telah dilatih sebelumnya dan asisten yang dapat digunakan, yang semakin dikombinasikan dengan pengoptimalan preferensi untuk penyelarasan.
Implementasi Dunia Nyata
Mengubah model dasar bergaya GPT menjadi asisten chat yang menjawab pertanyaan, bukan mengulanginya
FLAN-T5, disesuaikan dengan banyak tugas sehingga dapat mengikuti instruksi yang tidak pernah dilatih secara eksplisit
InstructGPT, di mana GPT-3 disesuaikan dengan instruksi pada perintah yang dikurasi untuk menghasilkan respons yang jauh lebih bermanfaat
Membangun asisten internal perusahaan dengan menyempurnakan pasangan instruksi-respons yang ditulis oleh tim dukungan dan hukum
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Instruction Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Penyetelan Awalan
Pertanyaan yang sering diajukan
What is Instruction Tuning?
Penyetelan instruksi adalah langkah pelatihan yang mengubah prediksi teks mentah menjadi model yang benar-benar mengikuti instruksi seperti 'meringkas ini' atau 'menulis balasan yang sopan'. Inilah yang membuat model dasar terasa berguna dan dapat dikendalikan.
Apa perbedaan penyetelan instruksi dengan RLHF?
Penyetelan instruksi adalah pembelajaran yang diawasi pada respons target. RLHF hadir setelahnya dan mengoptimalkan model berdasarkan preferensi manusia yang dipelajari.
Properti data penyetelan instruksi manakah yang paling mendorong kemampuan model untuk mengikuti instruksi baru yang tidak terlihat?
Meliputi berbagai macam tugas mengajarkan perilaku umum dalam mengikuti instruksi, yang digeneralisasikan ke instruksi yang belum pernah terlihat dalam pelatihan.
Urutan tahapan pelatihan apa yang umum untuk asisten obrolan modern?
Model pertama-tama dilatih terlebih dahulu pada teks mentah, kemudian disesuaikan dengan instruksi untuk mengikuti tugas, dan sering kali disempurnakan dengan RLHF untuk nada dan keamanan.