HƯỚNG DẪN KỸ THUẬT
RAG đa phương thức
RAG đa phương thức là thế hệ tăng cường truy xuất có thể tìm kiếm và sử dụng hình ảnh, biểu đồ, bảng và các trang được quét chứ không chỉ các đoạn văn bản đơn giản.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Trên trang nàyĐọc trong 3 phút
Tổng quan
Nó hoạt động bằng cách chú thích nội dung trực quan vào văn bản, nhúng hình ảnh và văn bản vào không gian chung hoặc truy xuất ảnh chụp màn hình toàn bộ trang bằng mô hình trực quan. Điều này quan trọng bởi vì nhiều kiến thức thực tế nằm trong các tệp PDF, trang trình bày và sơ đồ mà các đường dẫn chỉ có văn bản cắt xén hoặc bỏ qua.
Lặn sâu
Much organizational knowledge is not clean prose. It lives in slide decks, scanned contracts, engineering drawings, financial tables and charts inside PDFs. A text-only pipeline typically runs OCR or a PDF parser, discards layout and chunks the output. Tables become jumbled rows, chart values vanish, and a diagram contributes nothing at all. Multimodal RAG keeps visual information retrievable. There are three broad approaches. The first converts everything to text: extract tables into Markdown or HTML, use a vision-language model to write descriptions of images and charts, and index those with ordinary text embeddings. It is simple and fits existing infrastructure, but anything the captioner misses is lost. The second embeds images and text in a shared vector space, as CLIP-style models do, so a text query can retrieve a photo or figure directly. This suits image-heavy collections such as product catalogs, but general image embeddings are weak at reading dense text inside documents. The third treats each page as a screenshot. ColPali, published in 2024, embeds page images with a vision-language model and scores them against queries using late interaction, comparing many query-token vectors with many image-patch vectors in the style of ColBERT. It skips OCR and layout parsing entirely, and it performed strongly on the ViDoRe document-retrieval benchmark introduced alongside it. Retrieval is only half the job. The generator must also see the content, so answers usually come from a vision-capable model given the page image or cropped figure, not just a caption. A common misconception is that multimodal RAG means abandoning text pipelines. In practice, hybrid systems that combine parsed text, table extraction and page-image retrieval are common, because each method catches failures of the others.
Triển khai trong thế giới thực
Trợ lý bảo trì của nhà sản xuất lấy sơ đồ các bộ phận nổ của một mô hình máy bơm và hiển thị nó cho một mô hình có khả năng quan sát, mô hình này xác định đúng miếng đệm từ nhãn của bản vẽ.
Nhà phân tích tài chính hỏi về doanh thu hàng quý theo phân khúc và hệ thống truy xuất hình ảnh trang chứa biểu đồ thanh thay vì dựa vào văn bản OCR làm giảm giá trị của biểu đồ.
Một nhà bán lẻ cho phép người mua hàng tìm kiếm danh mục bằng truy vấn văn bản như "đèn bàn bằng gốm màu xanh lá cây" và sử dụng tính năng nhúng văn bản-hình ảnh được chia sẻ để trả về các ảnh sản phẩm phù hợp.
Văn phòng hồ sơ lập chỉ mục các biểu mẫu được quét trong nhiều thập kỷ dưới dạng ảnh chụp màn hình trang để nhân viên có thể tìm thấy các tài liệu có bản quét chất lượng kém tạo ra văn bản OCR không đáng tin cậy.
Tương lai của RAG đa phương thức
Các mô hình ngôn ngữ thị giác tiếp tục cải thiện khả năng đọc tài liệu trực tiếp, điều này củng cố khả năng truy xuất hình ảnh trang và bỏ qua các bước phân tích cú pháp dễ vỡ. Chi phí lưu trữ đa vectơ vẫn là một trở ngại thực tế và cơ sở dữ liệu vectơ đã và đang bổ sung hỗ trợ cho tìm kiếm tương tác muộn để giải quyết vấn đề đó. Việc truy xuất video và âm thanh áp dụng các ý tưởng tương tự, sử dụng khung hoặc bản ghi làm đơn vị truy xuất, nhưng công cụ chưa hoàn thiện. Đánh giá cũng chậm văn bản RAG; các điểm chuẩn công khai như trợ giúp của ViDoRe, nhưng các tổ chức vẫn sẽ cần các bộ thử nghiệm được xây dựng từ các biểu mẫu, biểu đồ và trang trình bày được quét của riêng họ để biết phương pháp nào phù hợp với họ.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Làm bài kiểm tra RAG đa phương thức
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
RAG đa phương thức là gì?
RAG đa phương thức là thế hệ tăng cường truy xuất có thể tìm kiếm và sử dụng hình ảnh, biểu đồ, bảng và các trang được quét chứ không chỉ các đoạn văn bản thuần túy. Nó hoạt động bằng cách chú thích nội dung trực quan vào văn bản, nhúng hình ảnh và văn bản vào không gian chung hoặc truy xuất ảnh chụp màn hình toàn bộ trang bằng mô hình trực quan. Điều này quan trọng bởi vì nhiều kiến thức thực tế nằm trong các tệp PDF, trang trình bày và sơ đồ mà các đường dẫn chỉ có văn bản cắt xén hoặc bỏ qua.
Điều gì thường xảy ra khi quy trình RAG chỉ có văn bản xử lý một bản PDF chứa đầy các bảng và biểu đồ?
Việc phân tích cú pháp thành văn bản thuần túy sẽ loại bỏ bố cục, do đó cấu trúc bảng bị phá vỡ và thông tin trực quan sẽ biến mất.
Điểm yếu chính của phương pháp chuyển phụ đề thành văn bản là gì?
Việc truy xuất chỉ có thể tìm thấy nội dung mô tả được tạo ra; chi tiết bị bỏ qua là vô hình.
Các mô hình kiểu CLIP có thể làm được gì trong RAG đa phương thức?
Không gian dùng chung có nghĩa là vectơ truy vấn văn bản có thể được so sánh trực tiếp với vectơ hình ảnh.
Cách tiếp cận của ColPali có gì đặc biệt?
ColPali coi hình ảnh trang là đơn vị truy xuất, tránh hoàn toàn bước phân tích cú pháp.
Trong tương tác muộn, truy vấn được tính điểm như thế nào trên một trang?
Tương tác muộn giữ lại nhiều vectơ ở cả hai phía và tổng hợp các kết quả phù hợp nhất, như ColBERT thực hiện đối với văn bản.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này