검색을 위한 임베딩 모델 미세 조정

임베딩 모델은 의미상 유사한 텍스트가 유사한 벡터를 갖도록 텍스트를 벡터로 변환하며 일반적으로 코사인 유사도로 측정됩니다. RAG에는 쿼리와 문서 청크가 모두 포함되어 있으며 가장 가까운 청크가 검색됩니다. 일반 모델은 광범위한 웹 및 질문 답변 데이터에 대해 학습됩니다. 모든 곳에서 합리적으로 잘 작동하지만 전문 용어, 내부 제품 이름, 사용자가 요청하는 방식과 문서 작성 방식 간의 차이로 인해 어려움을 겪을 수 있습니다. 미세 조정은 세 가지 형태의 훈련 데이터와의 격차를 해소합니다. 긍정적인 쌍은 질문이자 이에 대답하는 구절입니다. 배치 내 부정은 동일한 교육 배치의 다른 구절을 더 낮은 점수를 받아야 하는 항목의 예로 사용합니다. 하드 네거티브는 단어나 주제를 공유하면서 관련성이 있어 보이지만 질문에 대답하지 않는 구절입니다. 하드 네거티브는 가장 중요한 미세한 구별을 가르칩니다. 왜냐하면 쉬운 네거티브는 이미 기본 모델에 의해 분리되어 있기 때문입니다. 좋은 데이터 소스에는 클릭이 포함된 검색 로그, 기사에 연결된 지원 티켓, FAQ 페이지, 언어 모델에 의해 문서에서 생성된 합성 쿼리가 포함됩니다. 합성 데이터는 유용하지만 생성된 질문이 문서의 문구를 복사하여 작업을 너무 쉽게 만들기 때문에 필터링해야 합니다. 자주 오해하는 것은 미세 조정이 열악한 검색에 대한 첫 번째 해결책이라는 것입니다. 종종 더 나은 청킹, 하이브리드 설정에서 BM25와 같은 키워드 검색 추가 또는 재순위 지정을 추가하면 더 적은 노력으로 더 큰 이득을 얻을 수 있습니다. 미세 조정은 검색 간격을 측정하고 최소한 수천 개의 품질 쌍을 보유하거나 구축할 수 있을 때 가장 가치가 있습니다. 또 다른 함정은 위음성(false negatives)입니다. 즉, 쿼리에 실제로 응답하는 마이닝된 하드 네거티브입니다. 모델을 밀어내도록 훈련하면 품질이 손상됩니다. 또한 임베딩 모델을 변경하려면 전체 문서 컬렉션을 다시 임베딩해야 합니다. 이전 벡터와 새 벡터를 비교할 수 없기 때문입니다.