NastępnyNastępny poradnik
Dokument nadrzędny i pobieranie od małych do dużych
Techniczne
PRZEWODNIK techniczny
Pobieranie kontekstowe
Wyszukiwanie kontekstowe to technika RAG, która dołącza do każdego fragmentu krótkie, uwzględniające dokumenty wyjaśnienie, zanim zostanie ono osadzone i zindeksowane w celu wyszukiwania słów kluczowych, dzięki czemu fragment nadal ma sens, gdy jest czytany samodzielnie.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie4 minuty czytania
Przegląd
Ma to znaczenie, ponieważ fragmenty często tracą kluczowe informacje po oddzieleniu od dokumentu, takie jak firma, produkt lub okres, do którego się odnoszą, a utrata ta powoduje, że aporter przegapia właściwy fragment.
Głębokie nurkowanie
Standardowy RAG dzieli dokumenty na fragmenty, osadza każdą porcję i pobiera fragmenty najbardziej podobne do pytania. Problem polega na tym, że podział pasków kontekstu. Fragment mówiący, że „przychody firmy wzrosły o 3%” nie wskazuje, która firma ani jaki okres, więc ani wyszukiwanie semantyczne, ani wyszukiwanie słów kluczowych nie może wiarygodnie dopasować go do pytania, które je nazywa. Anthropic opisał pobieranie kontekstowe we wrześniu 2024 r. Dla każdego fragmentu model językowy otrzymuje cały dokument i fragment, a następnie jest proszony o napisanie krótkiego kontekstu (zwykle około 50 do 100 tokenów), który umieszcza fragment w dokumencie. Ten kontekst jest dołączony do fragmentu. Połączony tekst jest następnie używany w dwóch indeksach: indeksie osadzania (osadzania kontekstowe) i indeksie słów kluczowych BM25 (kontekstowy BM25). W momencie zapytania wyniki z obu wyników są łączone i opcjonalnie osoba dokonująca zmiany rankingu zmienia kolejność najlepszych kandydatów. W zgłoszonych eksperymentach Anthropic na kilku zbiorach danych osadzenie kontekstowe w połączeniu z kontekstowym BM25 zmniejszyło wskaźnik niepowodzeń wyszukiwania w pierwszej dwudziestce o około 49 procent w porównaniu ze standardowym osadzeniem, a dodanie ponownego rankingu spowodowało redukcję do około 67 procent. Wyniki na własnych danych mogą się różnić, dlatego warto to zmierzyć. Koszt naliczany jest w momencie indeksowania: jedno wywołanie modelu na fragment, każdy obejmujący pełny dokument. Szybkie buforowanie sprawia, że jest to znacznie tańsze, ponieważ dokument jest buforowany raz i ponownie wykorzystywany we wszystkich jego fragmentach. Błędy, których należy unikać: dodany kontekst jest używany do pobierania i możesz wybrać, czy chcesz go pokazać generatorowi. Nie zastępuje to dobrego dzielenia na porcje, a w przypadku małych baz wiedzy, które mieszczą się w oknie kontekstowym modelu, bezpośrednie wysłanie wszystkiego może być prostsze niż jakikolwiek potok pobierania.
Implementacja w świecie rzeczywistym
Fragment raportu kwartalnego brzmi jedynie: „Przychody wzrosły o 3% w porównaniu z poprzednim kwartałem”; wyszukiwanie kontekstowe zakłada, że pochodzi ono z zgłoszenia konkretnej firmy za drugi kwartał, zatem wyszukiwanie podające nazwę tej firmy i kwartału ją znajdzie.
W podręczniku pracownika fragment mówiący „To obowiązuje po 90 dniach” otrzymuje przedrostek wyjaśniający, że pochodzi z sekcji dotyczącej uprawnień do pracy zdalnej.
Asystent dokumentacji oprogramowania dodaje kontekst, zauważając, że fragment konfiguracji należy do wersji 3 interfejsu API, co zmniejsza zamieszanie w przypadku podobnego tekstu z wersji 2.
Baza wiedzy pomocy technicznej poprzedza fragmenty rozwiązywania problemów modelem produktu, którego dotyczą, więc pytania dotyczące jednego modelu przestają pobierać kroki dotyczące innego.
Przyszłość wyszukiwania kontekstowego
Pobieranie kontekstowe odzwierciedla szerszą tendencję polegającą na wydawaniu większej ilości obliczeń w czasie indeksowania, aby zwiększyć niezawodność czasu wykonywania zapytań. Ponieważ wywołania modeli stają się tańsze, a buforowanie staje się standardem, dodawanie kontekstu do fragmentów prawdopodobnie stanie się domyślnym krokiem w wielu potokach RAG. Dłuższe okna kontekstowe zmniejszają potrzebę wyszukiwania w małych kolekcjach, ale nie w dużych, więc takie techniki powinny pozostać odpowiednie w przypadku dużych baz wiedzy. Spodziewaj się większej liczby kombinacji z filtrowaniem metadanych, wykresami wiedzy i wyszukiwaniem po późnej interakcji, a zespoły wybierają na podstawie zmierzonej pamięci, a nie mody.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Contextual Retrieval quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest pobieranie kontekstowe?
Wyszukiwanie kontekstowe to technika RAG, która dołącza do każdego fragmentu krótkie, uwzględniające dokumenty wyjaśnienie, zanim zostanie ono osadzone i zindeksowane w celu wyszukiwania słów kluczowych, dzięki czemu fragment nadal ma sens, gdy jest czytany samodzielnie. Ma to znaczenie, ponieważ fragmenty często tracą kluczowe informacje po oddzieleniu od dokumentu, takie jak firma, produkt lub okres, do którego się odnoszą, a utrata ta powoduje, że aporter przegapia właściwy fragment.
Jaki problem rozwiązuje pobieranie kontekstowe?
Dzielenie usuwa otaczający kontekst, więc izolowany fragment może nie wspominać o elemencie lub okresie, którego dotyczy pytanie.
W jaki sposób generowany jest kontekst dla każdego fragmentu?
Model otrzymuje pełny dokument i fragment oraz zwraca krótki kontekst, który umieszcza fragment w dokumencie.
Które dwa indeksy otrzymują kontekstowy tekst fragmentu w podejściu Anthropic?
Metoda wykorzystuje osadzania kontekstowe i kontekstowe BM25, a następnie łączy ich wyniki.
Według eksperymentów Anthropic, w przybliżeniu w jakim stopniu osadzanie kontekstowe plus kontekstowy BM25 zmniejszyły liczbę 20 najczęstszych błędów pobierania?
Anthropic odnotował około 49-procentową redukcję, która wzrosła do około 67 procent po zmianie rankingu. Wyniki dotyczące innych danych mogą się różnić.
Dlaczego szybkie buforowanie sprawia, że pobieranie kontekstowe jest tańsze?
Wywołanie każdego fragmentu obejmuje pełny dokument; buforowanie tego wspólnego prefiksu pozwala uniknąć wielokrotnego płacenia pełnej ceny.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat