Ana Belge ve Küçükten Büyüğe Erişim

Sabit boyutlu parçalama bir ödünleşimi zorlar. Küçük parçalar, örneğin birkaç cümle, keskin yerleştirmeler üretir: vektör bir fikri temsil eder, dolayısıyla bu fikirle ilgili bir sorgu onunla yakından eşleşir. Ancak iki cümlelik bir yığın nadiren modelin iyi yanıt vermesi için yeterli bağlamı içerir; üç paragraf önceki tanımı veya bir sonraki cümledeki istisnayı atlayabilir. Büyük parçalar bu bağlamı taşır, ancak bunların yerleştirilmesi birkaç fikri birbirine bulanıklaştırır, bu nedenle erişim daha az hassas hale gelir ve ilgili pasaj, yalnızca konuyla ilgili olan bir parça tarafından geride bırakılabilir. Küçükten büyüğe erişim iki işi böler. Sistem arama için küçük alt parçaları indeksler ve her çocuk daha büyük bir ebeveyne işaret eden bir işaretçi tutar: bir bölüm, bir sayfa veya belgenin tamamı. Sorgulama sırasında en iyi çocukları bulur, ardından arar ve ebeveynlerini döndürür. Birden fazla çocuk bir ebeveyni paylaşıyorsa ebeveyn bir kez gönderilir, bu da kopyaları da ortadan kaldırır. LangChain'nin ParentDocumentRetriever'ı bunu çocuklar için bir vektör deposu ve ebeveynler için ayrı bir belge deposuyla uygular. LlamaIndex ilgili modeller sunar: eşleşen bir cümle artı sabit sayıda komşu cümleyi döndüren cümle penceresi alımı ve yeterli sayıda eşleştiğinde, alınan birçok yaprak parçasını paylaşılan ana düğümleriyle değiştiren otomatik birleştirme alımı. Bu yaklaşım, anlamın çevreleyen bölüme bağlı olduğu kılavuzlar, sözleşmeler, politikalar ve ders kitapları gibi yapılandırılmış belgeler üzerindeki sabit boyutlu yığınlamanın önüne geçme eğilimindedir. Belgeler zaten kısa olduğunda veya ebeveynler o kadar büyük olduğunda, bunlardan birkaçı bağlam penceresini aştığında veya yanıtı alakasız metinlere gömdüğünde, bu daha az yardımcı olur. Yaygın bir yanılgı, bunun yalnızca daha büyük parçalar kullandığıdır. Öyle değil: Alma birimi ve oluşturma birimi kasıtlı olarak farklı boyutlardadır, bu nedenle bağlam modelini aç bırakmadan hassas eşleştirmeyi sürdürebilirsiniz.