Als nächstesNächster Leitfaden
Selbst-RAG und reflektierendes Abrufen
Sprach-KI
Technischer Leitfaden
Speculative RAG beschleunigt und schärft die abrufgestützte Generierung, indem ein kleines, schnelles Modell mehrere Kandidatenantworten aus abgerufenen Dokumenten entwirft, die dann von einem größeren Modell überprüft werden.
Hören Sie sich diesen Leitfaden anKI-erzählt · ~2 min
It matters because it cuts latency and reduces the confusion large models suffer when stuffed with many long passages.
Das klassische RAG speist alle abgerufenen Dokumente in ein großes Sprachmodell ein, das langsam ist und bei langen Kontexten dazu neigt, den Fokus zu verlieren. Die spekulative RAG teilt den Auftrag. Ein kleineres, spezialisiertes „Entwurfs“-Modell erhält Cluster abgerufener Dokumente und erstellt parallel mehrere Kandidatenantworten, die jeweils auf einer anderen Teilmenge von Beweisen basieren und von einer Begründung begleitet werden. Ein größeres „Verifizierer“-Modell bewertet diese Entwürfe dann und wählt den besten aus, anstatt alle Dokumente selbst zu lesen. Da das kleine Modell umfangreiche Lesevorgänge verarbeitet und das große Modell nur kurze Entwürfe beurteilt, ist das System schneller und oft genauer. Der Clustering-Schritt stellt sicher, dass die Entwürfe unterschiedliche Perspektiven abdecken und nicht überflüssige Passagen.
Ein medizinischer Q&A-Assistent, bei dem ein kleiner Verfasser parallel gruppierte klinische Leitlinien liest und ein größeres Modell die sicherste und am besten unterstützte Antwort überprüft.
Ein Bot für die Unternehmenssuche, der mehrere Kandidatenantworten aus verschiedenen Dokumentclustern entwirft, um die Antwortlatenz bei langen Wissensdatenbanken zu verkürzen.
Ein juristisches Recherchetool, das konkurrierende Interpretationen generiert, die auf unterschiedlichen Teilsätzen der Rechtsprechung basieren, und diese dann mit einem Verifizierermodell in eine Rangfolge bringt.
Ein Kundensupportsystem, das einen domänenspezifischen Verfasser für die Bearbeitung von Produkthandbüchern zusammenstellt, während ein allgemeiner Prüfer für sachliche Grundlage sorgt.
Spekulative RAG weist auf modulare Abrufsysteme hin, bei denen kleine destillierte Drafter pro Domäne abgestimmt und hinter einem gemeinsamen Verifizierer ausgetauscht werden. Erwarten Sie eine engere Integration mit Agenten-Pipelines, eine anpassbare Anzahl von Entwürfen basierend auf der Frageschwierigkeit und Prüfer, die auch unzureichende Beweise melden. Mit zunehmenden Kontextfenstern verlagert sich der Wert von der Unterbringung von mehr Text hin zur intelligenten Parallelisierung von Argumenten gegenüber Beweisen, wodurch Entwurfs- und Überprüfungsarchitekturen wahrscheinlich zu einem Standard für die fundierte Beantwortung von Fragen werden.
Kostenloser Newsletter
Drei verifizierte KI-Geschichten jeden Werktagmorgen, in einfachem Englisch geschrieben. Für immer kostenlos, keine Werbung.
Eine E‑Mail jeden Werktag. Abmelden mit einem Klick. Wir verkaufen oder teilen Ihre Adresse nie.
Testen Sie sich selbst
Sofortiges Feedback zu jeder Antwort und ein teilbares Zertifikat mit verifizierbarer ID, sobald Sie einen Kurs bestanden haben.
Unterstützen Sie kostenlose KI-Bildung. AI Understanding ist eine 501(c)(3) gemeinnützige Organisation – keine Werbung, keine Paywall, nie. Machen Sie eine Spende
Speculative RAG beschleunigt und schärft die abrufgestützte Generierung, indem ein kleines, schnelles Modell mehrere Kandidatenantworten aus abgerufenen Dokumenten entwirft, die dann von einem größeren Modell überprüft werden. Das ist wichtig, weil es die Latenz verringert und die Verwirrung verringert, unter der große Modelle leiden, wenn sie mit vielen langen Passagen vollgestopft sind.
Der leichtgewichtige „Drafter“ liest gruppierte Dokumentteilmengen und erstellt parallel mehrere fundierte Kandidatenantworten.
Durch die Gruppierung und Stichprobe eines Dokuments pro Cluster erhält jeder Entwurf einen eindeutigen, sich nicht überschneidenden Ausschnitt der Beweise, was zu vielfältigen Antworten führt.
Anstatt alle Dokumente selbst zu lesen, bewertet der Prüfer die kurzen Entwürfe und Begründungen und wählt die Antwort mit der höchsten Punktzahl aus.
Das teure große Modell schluckt nicht mehr alle langen Passagen; Es überprüft nur kurze Entwürfe, während das parallele Verfassen die Lektüre übernimmt.
Beide verwenden günstige Parallelvorschläge eines kleinen Modells, gefolgt von einer zuverlässigen Prüfung eines größeren Modells.
Lerne weiter
Weitere Leitfäden zu diesem Thema ausgewählt
Als nächstesNächster Leitfaden
Selbst-RAG und reflektierendes Abrufen
Sprach-KI