상위 문서 및 소규모에서 대규모 검색

고정 크기 청킹은 절충안을 강제합니다. 예를 들어 몇 개의 문장과 같은 작은 덩어리는 날카로운 임베딩을 생성합니다. 벡터는 하나의 아이디어를 나타내므로 해당 아이디어에 대한 쿼리가 이와 밀접하게 일치합니다. 그러나 두 문장으로 구성된 덩어리에는 모델이 잘 대답할 만큼 충분한 컨텍스트가 포함되는 경우가 거의 없습니다. 세 문단 앞의 정의나 다음 문장의 예외를 생략할 수 있습니다. 큰 청크는 해당 컨텍스트를 전달하지만 임베딩으로 인해 여러 아이디어가 모호해지기 때문에 검색의 정확성이 떨어지고 관련 구절이 단지 주제에 관한 청크에 의해 압도될 수 있습니다. 소규모에서 대규모 검색은 두 작업을 분할합니다. 시스템은 검색을 위해 작은 하위 청크를 색인화하고 각 하위는 섹션, 페이지 또는 전체 문서와 같은 더 큰 상위에 대한 포인터를 유지합니다. 쿼리 시 가장 좋은 자식을 찾은 다음 해당 부모를 찾아 반환합니다. 여러 하위 항목이 하나의 상위 항목을 공유하는 경우 상위 항목이 한 번 전송되며 중복 항목도 제거됩니다. LangChain의 ParentDocumentRetriever는 하위 항목을 위한 벡터 저장소와 상위 항목을 위한 별도의 문서 저장소를 사용하여 이를 구현합니다. LlamaIndex는 일치하는 문장과 고정된 수의 인접 문장을 반환하는 문장 창 검색, 검색된 많은 리프 청크가 충분히 일치할 때 공유 상위 노드로 대체하는 자동 병합 검색과 같은 관련 패턴을 제공합니다. 이 접근 방식은 의미가 주변 섹션에 따라 달라지는 매뉴얼, 계약서, 정책 및 교과서와 같은 구조화된 문서에서 고정 크기 청크를 능가하는 경향이 있습니다. 문서가 이미 짧거나 상위 항목이 너무 커서 그 중 일부가 컨텍스트 창을 넘치거나 관련 없는 텍스트에 답변이 묻어 있는 경우에는 도움이 되지 않습니다. 일반적인 오해는 이것이 더 큰 청크를 사용한다는 것입니다. 그렇지 않습니다. 검색 단위와 생성 단위는 의도적으로 다른 크기이므로 컨텍스트 모델을 손상시키지 않고 정확한 일치를 유지합니다.