Verfijning van inbeddingsmodellen voor ophalen

Een inbeddingsmodel verandert tekst in een vector, zodat semantisch vergelijkbare teksten vergelijkbare vectoren hebben, meestal gemeten aan de hand van cosinusovereenkomst. In RAG worden zowel query's als documentfragmenten ingebed, en worden de dichtstbijzijnde fragmenten opgehaald. Algemene modellen worden getraind op breed web- en vraag-antwoordgegevens. Ze werken overal redelijk goed, maar kunnen moeite hebben met gespecialiseerde termen, interne productnamen en de kloof tussen hoe een gebruiker vraagt ​​en hoe een document is geschreven. Finetuning dicht die kloof met trainingsgegevens in drie vormen. Positieve paren zijn een vraag en een passage die deze beantwoordt. In-batch-negatieven gebruiken de andere passages in dezelfde trainingsbatch als voorbeelden van wat lager zou moeten scoren. Harde negatieven zijn passages die er relevant uitzien, woorden of onderwerp delen, maar de vraag niet beantwoorden. Harde negatieven leren de fijne verschillen die er het meest toe doen, omdat gemakkelijke negatieven al gescheiden zijn door het basismodel. Goede gegevensbronnen zijn bijvoorbeeld zoeklogboeken met klikken, ondersteuningstickets die aan artikelen zijn gekoppeld, pagina's met veelgestelde vragen en synthetische zoekopdrachten die door een taalmodel op basis van uw documenten worden gegenereerd. Synthetische gegevens zijn nuttig, maar moeten worden gefilterd, omdat gegenereerde vragen vaak de bewoordingen van het document kopiëren en de taak te gemakkelijk maken. Een vaak voorkomende misvatting is dat fijnafstemming de eerste oplossing is voor slecht ophalen. Vaak levert betere chunking, het toevoegen van zoekwoorden op trefwoorden, zoals BM25 in een hybride opstelling, of het toevoegen van een reranker, grotere winsten op met minder inspanning. Het verfijnen is het meest waardevol als u een inhaalgat hebt gemeten en minimaal een paar duizend kwaliteitsparen hebt of kunt bouwen. Een andere valkuil zijn valse negatieven: een gedolven hard negatief dat daadwerkelijk de vraag beantwoordt. Het trainen van het model om het weg te duwen schaadt de kwaliteit. Houd er ook rekening mee dat het wijzigen van het inbeddingsmodel vereist dat de gehele documentverzameling opnieuw wordt ingesloten, omdat oude en nieuwe vectoren niet vergelijkbaar zijn.