쿼리 재작성 및 다중 쿼리 검색

검색 품질은 쿼리에 따라 크게 달라집니다. 사용자는 짧고 모호하거나 대화체 질문을 작성하는 반면 문서는 자신만의 어휘를 사용합니다. 쿼리 변환은 검색이 발생하기 전에 이러한 격차를 해소합니다. 가장 간단한 형태는 다시 작성하는 것입니다. LLM은 사용자의 메시지를 보다 명확한 검색 쿼리로 바꿉니다. 이는 "그리고 2023년은?"과 같은 후속 조치를 취하는 다단계 채팅에서 필수적입니다. 기록이 없으면 아무 의미가 없으므로 시스템은 대화를 독립형 쿼리로 압축합니다. 분해는 복잡한 질문을 별도로 검색할 수 있는 하위 질문으로 분할하여 비교 또는 다중 홉 질문에 유용합니다. 2023년 Google DeepMind 연구원이 설명한 뒤로 물러서기 프롬프트는 배경 원리를 검색하기 위해 먼저 보다 일반적인 질문을 던집니다. 다중 쿼리 검색은 질문의 여러 변형을 생성하고 각각에 대해 검색을 실행하며 결과를 병합합니다. LangChain는 MultiQueryRetriever를 통해 이를 대중화했습니다. RAG-Fusion은 Cormack, Clarke 및 Buettcher가 2009년에 설명한 방법인 상호 순위 융합(RRF)과 여러 쿼리를 결합합니다. 이 방법은 결과 목록 전체에서 1/(k + 순위)를 합산하여 각 문서의 점수를 매깁니다. 여러 목록에서 높게 나타나는 문서는 비교 가능한 원점수 없이도 맨 위로 올라갑니다. 관련 기술인 HyDE(Hypothetical Document Embeddings, Gao 및 동료, 2022)는 모델이 질문 대신에 가상의 답변을 작성하고 이를 임베드하도록 합니다. 왜냐하면 답변 형태의 텍스트가 임베딩 공간에서 실제 답변 구절에 더 가깝게 위치하는 경우가 많기 때문입니다. 오해: 더 많은 쿼리가 항상 더 나은 것은 아닙니다. 각 변형은 지연 시간과 비용을 추가하며 잘못 생성된 변형은 사용자의 의도에서 벗어나 관련 없는 문서를 가져올 수 있습니다. 다시 작성하면 날짜나 제품 이름과 같은 중요한 제약 조건을 삭제할 수도 있습니다. 이러한 단계를 채택하기 전에 실제 질문에 대한 회상 및 답변 품질을 측정하세요.