Self-RAG dan Pengambilan Reflektif
Self-RAG adalah kerangka kerja di mana model bahasa memutuskan kapan akan mengambil, lalu mengkritik bagian yang diambil dan keluarannya sendiri menggunakan token refleksi khusus.
Ikhtisar
It matters because it makes retrieval-augmented generation adaptive and self-checking instead of blindly fetching documents for every query.
Menyelam Lebih Dalam
RAG standar mengambil sejumlah bagian yang tetap untuk setiap masukan, meskipun tidak diperlukan, dan tidak pernah memverifikasi apakah jawabannya benar-benar didukung. Self-RAG, yang diperkenalkan oleh Asai dan rekannya pada tahun 2023, melatih satu model untuk melakukan tiga hal sesuai permintaan. Pertama, ia mengeluarkan token 'pengambilan' yang memutuskan apakah pengetahuan eksternal diperlukan atau tidak. Kedua, setelah mengambil, ia mengeluarkan token kritik 'IsRelevant' untuk menilai apakah setiap bagian membantu. Ketiga, ia menghasilkan token 'IsSupported' dan 'IsUseful' yang menilai apakah pernyataannya didasarkan pada bukti dan seberapa baik tanggapannya. Token refleksi ini memungkinkan sistem mengambil hanya jika diperlukan, memfilter bagian yang tidak relevan, dan memilih keluaran yang dinilai didukung dengan baik oleh model itu sendiri, sehingga mengurangi halusinasi.
Wawasan Teknis
Self-RAG dilatih melalui pembelajaran yang diawasi pada data yang diberi label dengan token refleksi, sering kali disaring dari model yang lebih kuat seperti GPT-4. Sebagai kesimpulan, model menyisipkan token teks biasa dengan token kontrol khusus ini. Pencarian berkas tingkat segmen kemudian dapat menilai kelanjutan kandidat menggunakan probabilitas token kritik, sehingga memungkinkan pengembang menyesuaikan perilaku pada waktu berjalan — misalnya, memberi bobot lebih pada 'IsSupported' untuk memaksimalkan landasan faktual versus kelancaran.
Dampak Strategis
Kecepatan dan skala
Alur kerja bahasa dapat berjalan lebih cepat tanpa mengorbankan konsistensi.
Access and reach
Ini memperluas akses lintas bahasa dan gaya komunikasi.
Clearer decisions
Tim dapat menghabiskan lebih banyak waktu untuk melakukan penilaian sementara otomatisasi menangani pengulangan.
Masa Depan Self-RAG dan Pengambilan Reflektif
Pengambilan reflektif menyatu dengan RAG agen, di mana model merencanakan pencarian multi-langkah, alat panggilan, dan koreksi mandiri di seluruh iterasi. Harapkan integrasi yang lebih erat antara kritik diri dengan model verifikator, pengambilan grafik pengetahuan, dan pembelajaran penguatan yang menghargai jawaban yang setia dan dikutip dengan baik. Ketika model penalaran semakin matang, pengambilan berdasarkan permintaan dan pengambilan yang dievaluasi sendiri kemungkinan besar akan menjadi perilaku default dan bukan kerangka kerja yang terpisah, dengan model yang secara dinamis memutuskan berapa banyak bukti yang dibutuhkan setiap klaim.
Implementasi Dunia Nyata
Asisten Tanya Jawab medis mengambil pedoman hanya untuk pertanyaan klinis dan melewatkan pengambilan untuk salam, menggunakan token keputusan 'pengambilan'.
Seorang asisten peneliti menyaring hasil pencarian di luar topik dengan memeriksa kritik 'IsRelevan' setiap bagian sebelum menulis.
Chatbot perusahaan lebih memilih jawaban yang diberi tag 'Didukung' sehingga pernyataannya tetap berdasarkan dokumen perusahaan, sehingga menghilangkan halusinasi.
Alat pengecekan fakta menggunakan skor 'IsUseful' untuk memberi peringkat pada beberapa jawaban kandidat dan menampilkan jawaban dengan bukti terbaik.
Risiko & Pagar Pembatas
Fakta-fakta yang dihalusinasi dapat secara diam-diam masuk ke dalam laporan, aliran dukungan, atau keluaran penelitian.
Sensitivitas yang cepat dapat menimbulkan hasil yang tidak konsisten pada permintaan serupa.
Data teks sensitif mungkin terekspos jika kontrol akses lemah.
Peta Jalan Implementasi
Tentukan format output, nada, dan standar kualitas sebelum peluncuran.
Dasarkan respons dengan sumber tepercaya kapan pun akurasi penting.
Pertahankan pos pemeriksaan tinjauan manusia untuk keluaran berisiko tinggi.
Lacak pola kegagalan dan latih kembali perintah atau alur kerja secara teratur.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-RAG and Reflective Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
RAG Spekulatif dan Drafting Retrieval-Augmented
Pertanyaan yang sering diajukan
What is Self-RAG and Reflective Retrieval?
Self-RAG adalah kerangka kerja di mana model bahasa memutuskan kapan akan mengambil, lalu mengkritik bagian yang diambil dan keluarannya sendiri menggunakan token refleksi khusus. Hal ini penting karena membuat generasi retrieval-augmented menjadi adaptif dan melakukan pengecekan mandiri, alih-alih mengambil dokumen secara membabi buta untuk setiap kueri.
Keputusan penting apa yang dibuat oleh Self-RAG yang tidak diambil oleh RAG standar?
Self-RAG mengeluarkan token 'pengambilan' untuk memutuskan apakah dokumen eksternal diperlukan berdasarkan permintaan, daripada selalu mengambil.
Apa itu 'token refleksi' di Self-RAG?
Token refleksi seperti IsRelevant, IsSupported, dan IsUseful membiarkan model mengkritik bagian-bagian dan keluarannya sendiri.
Token refleksi manakah yang menilai apakah pernyataan yang dihasilkan didasarkan pada bukti yang diambil?
Token IsSupported menilai apakah klaim model benar-benar didukung oleh bagian yang diambil, sehingga membantu mengurangi halusinasi.
Bagaimana model Self-RAG biasanya dilatih untuk menghasilkan token refleksi?
Self-RAG belajar dari data pelatihan yang dianotasi dengan token refleksi, yang sering kali dihasilkan oleh model guru yang lebih mumpuni seperti GPT-4.
Keuntungan apa yang diberikan dengan mengeluarkan kritik 'Relevan' untuk setiap bagian?
Dengan mengkritisi relevansi setiap bagian, Self-RAG dapat mengabaikan pengambilan di luar topik alih-alih memasukkannya ke dalam jawaban.