SeterusnyaPanduan seterusnya
Metrik Penilaian RAG dan RAGAS
Teknikal
PANDUAN Teknikal
RAG Pembetulan (CRAG) ialah kaedah penjanaan dipertingkatkan semula yang menyemak sejauh mana relevan dokumen yang diambil sebelum menjawab dan mengambil tindakan pembetulan apabila pengambilan kelihatan lemah, seperti menapis dokumen, menulis semula pertanyaan atau mencari di web.
Dengar panduan iniAI-diceritakan · ~3 min
Ini penting kerana RAG standard menyerahkan apa sahaja yang diperolehi semula kepada model, dan dokumen yang tidak relevan atau mengelirukan adalah punca utama jawapan yang salah dan dinyatakan dengan yakin.
CRAG was introduced in the 2024 paper "Corrective Retrieval Augmented Generation" by Shi-Qi Yan and colleagues. It targets a basic weakness of standard RAG: the generator trusts the retriever. If the top documents are off-topic, outdated or only loosely related, the model often answers anyway. The paper's design adds a lightweight retrieval evaluator, a fine-tuned T5-large model in the original work, which scores each retrieved document for relevance to the question. Based on those scores, the system picks one of three actions. If at least one document is judged clearly relevant, the action is Correct: the documents go through knowledge refinement, a decompose-then-recompose step that splits them into small strips, scores each strip, and keeps only the useful ones. If all documents score low, the action is Incorrect: the retrieved documents are discarded, the question is rewritten into search-engine-style keywords, and web search results are used instead, again refined. If the evaluator is unsure, the action is Ambiguous, and the system combines refined internal knowledge with web results. The authors presented CRAG as plug-and-play: it can wrap standard RAG or other methods such as Self-RAG, and they reported improvements on several short-form and long-form generation benchmarks. In practice, many teams implement CRAG-style pipelines without the original fine-tuned evaluator, using an LLM prompt to grade relevance and a graph or agent framework (LangGraph has a well-known CRAG tutorial) to route between steps. Common misconceptions: CRAG does not verify that the final answer is correct; it grades retrieval inputs. Web search is not automatically better, since it can bring in low-quality sources. And grading adds latency and cost to every query.
Bot meja bantuan syarikat mendapatkan semula tiga bahagian dasar untuk soalan tentang cuti ibu bapa, penggred mendapati tiada yang berkaitan dan sistem menulis semula pertanyaan dan mencari sekali lagi dan bukannya menjawab daripada dasar yang salah.
Pembantu maklumat perubatan menilai petikan yang diambil, hanya menyimpan ayat yang menyebut ubat yang ditanya oleh pengguna dan membuang teks sekitar tentang ubat lain sebelum menjana.
Alat Soal Jawab berita mengesan bahawa arkib dalamannya tidak mempunyai liputan acara yang sangat terkini dan kembali kepada carian web untuk artikel semasa.
Prototaip penyelidikan undang-undang menandakan pengambilan semula sebagai samar-samar apabila dokumen hanya sebahagiannya berkaitan dan menggabungkan petikan dalaman yang diperhalusi dengan hasil carian baharu sebelum menjawab.
Idea CRAG, semak kualiti perolehan semula dan laluan sewajarnya, telah menjadi corak biasa dalam sistem RAG agenik, di mana model memutuskan sama ada untuk mendapatkan semula, mencari di tempat lain atau menjawab. Kerja masa depan mungkin tertumpu pada penilai perkaitan yang lebih murah dan ditentukur lebih baik, dan pada menggabungkan semakan input dengan semakan output seperti mengesahkan bahawa jawapan disokong oleh bukti yang disimpan. Skim tiga tindakan tertentu mungkin kurang penting dari semasa ke semasa berbanding prinsip yang lebih luas bahawa konteks yang diambil harus dinilai dan bukannya dipercayai secara automatik.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
RAG Pembetulan (CRAG) ialah kaedah penjanaan dipertingkatkan semula yang menyemak sejauh mana relevan dokumen yang diambil sebelum menjawab dan mengambil tindakan pembetulan apabila pengambilan kelihatan lemah, seperti menapis dokumen, menulis semula pertanyaan atau mencari di web. Ini penting kerana RAG standard menyerahkan apa sahaja yang diperolehi semula kepada model, dan dokumen yang tidak relevan atau mengelirukan adalah punca utama jawapan yang salah dan dinyatakan dengan yakin.
RAG standard menyerahkan dokumen yang diambil kepada model tanpa mengira perkaitan, yang boleh menghasilkan jawapan salah yang yakin. CRAG menilai perolehan semula terlebih dahulu.
Kertas itu menggunakan model T5-besar yang ditala halus ringan untuk menjaringkan perkaitan dokumen.
Tindakan Salah membuang dokumen, menulis semula soalan ke dalam pertanyaan carian dan bergantung pada hasil web yang diperhalusi.
Penghalusan pengetahuan memecahkan dokumen kepada jalur kecil, menjaringkannya dan hanya menyusun semula bahagian yang berguna untuk penjana.
Tindakan Ambiguous menggabungkan kedua-dua sumber untuk melindung nilai terhadap ketidakpastian dalam penghakiman penilai.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Metrik Penilaian RAG dan RAGAS
Teknikal