PRZEWODNIK techniczny
Multimodalny RAG
Multimodalny RAG to generacja wspomagana wyszukiwaniem, która może wyszukiwać i wykorzystywać obrazy, wykresy, tabele i zeskanowane strony, a nie tylko fragmenty zwykłego tekstu.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~3 min
Na tej stronie3 minuty czytania
Przegląd
Działa poprzez dodawanie podpisów do treści wizualnych w tekście, osadzanie obrazów i tekstu we wspólnej przestrzeni lub pobieranie zrzutów ekranu całych stron z modelami wizji. Ma to znaczenie, ponieważ duża część wiedzy ze świata rzeczywistego znajduje się w plikach PDF, slajdach i diagramach, które potoki tekstowe zniekształcają lub ignorują.
Głębokie nurkowanie
Duża część wiedzy organizacyjnej nie jest czystą prozą. Znajduje się na slajdach, zeskanowanych umowach, rysunkach technicznych, tabelach finansowych i wykresach w plikach PDF. Potok tekstowy zazwyczaj uruchamia OCR lub parser PDF, odrzuca układ i dzieli dane wyjściowe na fragmenty. Tabele stają się pomieszanymi wierszami, wartości wykresów znikają, a diagram nic nie wnosi. Multimodalny RAG umożliwia odzyskanie informacji wizualnych. Istnieją trzy szerokie podejścia. Pierwsza konwertuje wszystko na tekst: wyodrębnia tabele do formatu Markdown lub HTML, używa modelu języka wizyjnego do pisania opisów obrazów i wykresów oraz indeksuje je ze zwykłym osadzeniem tekstu. Jest prosty i pasuje do istniejącej infrastruktury, ale wszystko, co przeoczy autor napisu, zostanie utracone. Drugi osadza obrazy i tekst we wspólnej przestrzeni wektorowej, tak jak robią to modele w stylu CLIP, więc zapytanie tekstowe może bezpośrednio pobrać zdjęcie lub figurę. Jest to odpowiednie dla kolekcji zawierających dużo obrazów, takich jak katalogi produktów, ale ogólne osadzanie obrazów słabo radzi sobie z czytaniem gęstego tekstu w dokumentach. Trzeci traktuje każdą stronę jako zrzut ekranu. ColPali, opublikowany w 2024 r., osadza obrazy stron za pomocą modelu języka wizyjnego i porównuje je z zapytaniami wykorzystującymi późną interakcję, porównując wiele wektorów tokenów zapytań z wieloma wektorami poprawek obrazu w stylu ColBERT. Całkowicie pomija OCR i analizę układu i radzi sobie dobrze w wprowadzonym wraz z nim benchmarku wyszukiwania dokumentów ViDoRe. Odzyskanie to tylko połowa sukcesu. Generator musi także widzieć treść, więc odpowiedzi zwykle pochodzą z modelu obsługującego wizję, biorąc pod uwagę obraz strony lub przyciętą postać, a nie tylko podpis. Powszechnym błędnym przekonaniem jest to, że multimodalny RAG oznacza porzucenie potoków tekstowych. W praktyce powszechne są systemy hybrydowe, które łączą analizowany tekst, wyodrębnianie tabeli i pobieranie obrazu strony, ponieważ każda metoda wychwytuje awarie pozostałych.
Implementacja w świecie rzeczywistym
Asystent producenta zajmujący się konserwacją pobiera schemat części rozłożonych na części dla modelu pompy i pokazuje go modelowi obsługującemu technologię wizyjną, który identyfikuje właściwą uszczelkę na podstawie etykiet rysunku.
Analityk finansowy pyta o kwartalne przychody według segmentu, a system pobiera obraz strony zawierający wykres słupkowy, zamiast polegać na tekście OCR, który spowodował spadek wartości wykresu.
Sprzedawca umożliwia kupującym przeszukiwanie katalogu za pomocą zapytania tekstowego, np. „zielona ceramiczna lampa stołowa”, i wykorzystuje udostępnione obrazy-teksty, aby wyświetlać pasujące zdjęcia produktów.
Biuro archiwalne indeksuje dziesięciolecia zeskanowanych formularzy jako zrzuty ekranu stron, dzięki czemu urzędnicy mogą znaleźć dokumenty, których skany niskiej jakości dają niewiarygodny tekst OCR.
Przyszłość multimodalnych RAG
Modele języka wizyjnego stale ulepszają bezpośrednie czytanie dokumentów, co wzmacnia argumenty za odzyskiwaniem obrazu strony i pomijaniem delikatnych etapów analizy. Koszt przechowywania danych wielowektorowych pozostaje praktyczną przeszkodą, a aby rozwiązać ten problem, w wektorowych bazach danych dodano obsługę wyszukiwania z późną interakcją. Wyszukiwanie wideo i audio opiera się na podobnych pomysłach, wykorzystując ramki lub transkrypcje jako jednostki wyszukiwania, ale narzędzia są mniej zaawansowane. Ocena również opóźnia tekst RAG; publiczne testy porównawcze, takie jak pomoc ViDoRe, ale organizacje nadal będą potrzebować zestawów testowych zbudowanych z własnych zeskanowanych formularzy, wykresów i slajdów, aby wiedzieć, które podejście jest dla nich skuteczne.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Multimodal RAG quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest multimodalny RAG?
Multimodalny RAG to generacja wspomagana wyszukiwaniem, która może wyszukiwać i wykorzystywać obrazy, wykresy, tabele i zeskanowane strony, a nie tylko fragmenty zwykłego tekstu. Działa poprzez dodawanie podpisów do treści wizualnych w tekście, osadzanie obrazów i tekstu we wspólnej przestrzeni lub pobieranie zrzutów ekranu całych stron z modelami wizji. Ma to znaczenie, ponieważ duża część wiedzy ze świata rzeczywistego znajduje się w plikach PDF, slajdach i diagramach, które potoki tekstowe zniekształcają lub ignorują.
Co zazwyczaj dzieje się nie tak, gdy potok RAG zawierający wyłącznie tekst przetwarza plik PDF pełen tabel i wykresów?
Analizowanie zwykłego tekstu powoduje odrzucenie układu, przez co struktura tabeli zostaje przerwana, a informacje wizualne znikają.
Jaka jest główna słabość podejścia polegającego na zamianie wszystkiego na tekst?
Podczas wyszukiwania można znaleźć tylko to, co zawiera wygenerowany opis; pominięte szczegóły są niewidoczne.
Co umożliwiają modele w stylu CLIP w multimodalnym RAG?
Wspólna przestrzeń oznacza, że wektor zapytania tekstowego można porównać bezpośrednio z wektorami obrazu.
Co wyróżnia podejście ColPali?
ColPali traktuje sam obraz strony jako jednostkę pobierania, całkowicie unikając etapu analizowania.
W jaki sposób zapytanie jest oceniane w odniesieniu do strony w przypadku późnej interakcji?
Późna interakcja utrzymuje wiele wektorów po obu stronach i agreguje najlepsze dopasowania, tak jak robi to ColBERT w przypadku tekstu.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat