SelanjutnyaPanduan berikutnya
Perhatian Multi-Kueri
Bahasa AI
PANDUAN Teknis
Penulisan Ulang Kueri dan Pengambilan Multi-Kueri
Penulisan ulang kueri dan pengambilan multi-kueri adalah teknik RAG yang mengubah pertanyaan pengguna sebelum melakukan pencarian, dengan menyusun ulang pertanyaan tersebut, memecahnya menjadi sub-pertanyaan, atau menghasilkan beberapa varian dan menggabungkan hasilnya.
Di halaman ini3 menit membaca
Ikhtisar
Hal ini penting karena pengguna sering kali mengajukan pertanyaan yang tidak jelas, bersifat percakapan, atau multi-bagian yang kata-katanya tidak sesuai dengan dokumen, dan kueri yang lebih baik dapat memunculkan bagian-bagian relevan yang mungkin terlewatkan oleh penelusuran literal.
Menyelam Lebih Dalam
Kualitas pengambilan sangat bergantung pada kueri. Pengguna menulis pertanyaan pendek, ambigu atau percakapan, sedangkan dokumen menggunakan kosakata mereka sendiri. Transformasi kueri menutup kesenjangan tersebut sebelum penelusuran dilakukan. Bentuk paling sederhana adalah menulis ulang: LLM mengubah pesan pengguna menjadi permintaan pencarian yang lebih jelas. Ini penting dalam obrolan multi-giliran, dengan tindak lanjut seperti "dan pada tahun 2023?" tidak berarti apa-apa tanpa riwayat, sehingga sistem memadatkan percakapan menjadi kueri mandiri. Dekomposisi membagi pertanyaan kompleks menjadi sub-pertanyaan yang dapat diambil secara terpisah, berguna untuk pertanyaan perbandingan atau multi-hop. Dorongan mundur, dijelaskan oleh peneliti Google DeepMind pada tahun 2023, menanyakan pertanyaan yang lebih umum terlebih dahulu untuk mengambil kembali prinsip-prinsip latar belakang. Pengambilan multi-kueri menghasilkan beberapa varian pertanyaan, menjalankan pencarian untuk masing-masing varian, dan menggabungkan hasilnya. LangChain mempopulerkan ini dengan MultiQueryRetriever-nya. RAG-Fusion menggabungkan beberapa kueri dengan fusi peringkat timbal balik (RRF), sebuah metode yang dijelaskan oleh Cormack, Clarke, dan Buettcher pada tahun 2009, yang menilai setiap dokumen dengan menjumlahkan 1/(k + peringkat) di seluruh daftar hasil. Dokumen yang muncul tinggi dalam beberapa daftar akan naik ke atas tanpa memerlukan skor mentah yang sebanding. Teknik terkait, HyDE (Hypothetical Document Embeddings, Gao dan rekannya, 2022), menggunakan model untuk menulis jawaban hipotetis dan menyematkannya alih-alih pertanyaan, karena teks berbentuk jawaban sering kali berada lebih dekat dengan bagian jawaban sebenarnya dalam ruang penyematan. Kesalahpahaman: lebih banyak pertanyaan tidak selalu lebih baik. Setiap varian menambah latensi dan biaya, dan varian yang dihasilkan dengan buruk dapat menyimpang dari tujuan pengguna, sehingga menarik dokumen yang tidak relevan. Penulisan ulang juga dapat menghilangkan batasan penting seperti tanggal atau nama produk. Ukur kualitas ingatan dan jawaban atas pertanyaan nyata sebelum mengambil langkah-langkah ini.
Dampak Strategis
Biaya dan anggaran
Keputusan arsitektur mendorong kinerja dan biaya pengoperasian selama bertahun-tahun.
Keputusan yang lebih jelas
Pendidikan teknis membantu tim memilih tumpukan yang tepat, bukan hanya yang terbaru.
Kontrol kualitas
Pilihan teknik yang lebih baik mengurangi insiden keandalan dalam produksi.
Masa Depan Penulisan Ulang Kueri dan Pengambilan Multi-Kueri
Seiring penyebaran RAG agen, transformasi kueri semakin banyak ditangani oleh model yang memutuskan apa yang akan dicari, melakukan iterasi ketika hasilnya terlihat lemah, bukan dengan langkah penulisan ulang yang tetap. Hal ini membuat ide-ide yang mendasari, dekomposisi, varian, dan fusi menjadi lebih penting meskipun ide-ide tersebut menjadi kurang terlihat. Penyempurnaan dalam model penyematan dan penelusuran hibrid mengurangi beberapa ketidakcocokan kosakata namun tidak menghilangkan kebutuhan untuk memperjelas pertanyaan ambigu atau percakapan. Harapkan tim untuk menggunakan teknik ini secara selektif, dipicu ketika kueri terlihat rumit atau pengambilan awal lemah, untuk menyeimbangkan kualitas dengan biaya.
Implementasi Dunia Nyata
Di asisten obrolan, tindak lanjut "bagaimana dengan staf paruh waktu?" ditulis ulang menjadi kueri mandiri seperti "kebijakan cuti orang tua untuk karyawan paruh waktu" menggunakan percakapan sebelumnya.
Pertanyaan yang membandingkan harga dua penyedia cloud dipecah menjadi pencarian terpisah untuk masing-masing penyedia, dan hasilnya digabungkan sebelum dijawab.
Bot dukungan menghasilkan empat frasa "aplikasi saya terus mengeluarkan saya", termasuk istilah teknis seperti berakhirnya sesi dan penyegaran token, dan menggabungkan hasilnya dengan fusi peringkat timbal balik.
Seorang asisten peneliti menggunakan langkah mundur untuk terlebih dahulu mencari prinsip umum di balik pertanyaan sempit, kemudian mengambil rincian spesifik, memberikan model tersebut latar belakang dan spesifik.
Risiko & Pagar Pembatas
Mengoptimalkan satu tolok ukur dapat menyembunyikan kelemahan sistem yang lebih luas.
Biaya infrastruktur dan pemeliharaan sering kali diremehkan.
Kesenjangan keamanan dan kemampuan observasi dapat tumbuh seiring dengan semakin kompleksnya sistem.
Peta Jalan Implementasi
Tentukan target latensi, kualitas, dan biaya sebelum penerapan.
Tolok ukur dalam kondisi beban dan data yang realistis.
Pemantauan instrumen untuk kesalahan, penyimpangan, dan dampak pengguna.
Siapkan jalur rollback dan respons insiden sebelum melakukan penskalaan.
Terus Menjelajah
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Query Rewriting and Multi-Query Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Pertanyaan yang sering diajukan
Apa itu Penulisan Ulang Kueri dan Pengambilan Multikueri?
Penulisan ulang kueri dan pengambilan multi-kueri adalah teknik RAG yang mengubah pertanyaan pengguna sebelum melakukan pencarian, dengan menyusun ulang pertanyaan tersebut, memecahnya menjadi sub-pertanyaan, atau menghasilkan beberapa varian dan menggabungkan hasilnya. Hal ini penting karena pengguna sering kali mengajukan pertanyaan yang tidak jelas, bersifat percakapan, atau multi-bagian yang kata-katanya tidak sesuai dengan dokumen, dan kueri yang lebih baik dapat memunculkan bagian-bagian relevan yang mungkin terlewatkan oleh penelusuran literal.
Mengapa penulisan ulang kueri sangat penting dalam obrolan multi-putaran?
Tindak lanjut seperti "dan pada tahun 2023?" membutuhkan riwayat percakapan untuk menjadi kueri mandiri yang berguna.
Teknik manakah yang membagi pertanyaan perbandingan menjadi pencarian terpisah untuk setiap item yang dibandingkan?
Dekomposisi memecah pertanyaan kompleks atau multi-bagian menjadi sub-pertanyaan yang diambil secara terpisah.
Apa yang dilakukan dengan bisikan langkah mundur?
Prompt langkah mundur, dari peneliti Google DeepMind, mengambil latar belakang umum sebelum spesifik.
Dalam fusi peringkat timbal balik, bagaimana skor dokumen dihitung?
RRF menjumlahkan 1/(k + peringkat) pada setiap daftar yang berisi dokumen tersebut, memberikan penghargaan pada dokumen yang berperingkat tinggi dalam beberapa daftar.
Mengapa RRF cocok untuk menggabungkan pencarian vektor dan hasil BM25?
Karena RRF hanya menggunakan posisi peringkat, ia dapat menggabungkan daftar yang skor mentahnya tidak sebanding.
Teruslah belajar
Panduan terkait
Panduan lainnya dipilih untuk topik ini