প্রযুক্তিগত গাইড

মাল্টিমোডাল RAG

মাল্টিমোডাল RAG হল পুনরুদ্ধার-বর্ধিত প্রজন্ম যা কেবলমাত্র সাধারণ পাঠ্য অংশ নয়, চিত্র, চার্ট, টেবিল এবং স্ক্যান করা পৃষ্ঠাগুলি অনুসন্ধান এবং ব্যবহার করতে পারে।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়3 মিনিট পড়া হয়েছে
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. মাল্টিমোডাল RAG এর ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

এটি টেক্সটে ভিজ্যুয়াল কন্টেন্ট ক্যাপশন করে, শেয়ার করা স্পেসে ইমেজ এবং টেক্সট এম্বেড করে বা ভিশন মডেলের সাথে পুরো পৃষ্ঠার স্ক্রিনশট পুনরুদ্ধার করে কাজ করে। এটি গুরুত্বপূর্ণ কারণ অনেক বাস্তব-বিশ্বের জ্ঞান PDF, স্লাইড এবং ডায়াগ্রামে বসে যা শুধুমাত্র পাঠ্য-পাইপলাইনগুলি বিকৃত বা উপেক্ষা করে।

গভীর ডুব

অনেক সাংগঠনিক জ্ঞান পরিষ্কার গদ্য নয়। এটি স্লাইড ডেক, স্ক্যান করা চুক্তি, প্রকৌশল অঙ্কন, আর্থিক টেবিল এবং PDF এর মধ্যে চার্টে থাকে। একটি পাঠ্য-শুধু পাইপলাইন সাধারণত OCR বা একটি PDF পার্সার চালায়, লেআউট বাতিল করে এবং আউটপুটকে খণ্ডিত করে। টেবিলগুলি এলোমেলো সারি হয়ে যায়, চার্টের মানগুলি অদৃশ্য হয়ে যায় এবং একটি ডায়াগ্রাম কিছুই অবদান রাখে না। মাল্টিমডাল RAG ভিজ্যুয়াল তথ্য পুনরুদ্ধারযোগ্য রাখে। তিনটি বিস্তৃত পন্থা আছে. প্রথমটি সবকিছুকে টেক্সটে রূপান্তরিত করে: মার্কডাউন বা এইচটিএমএল-এ সারণী বের করুন, ছবি এবং চার্টের বিবরণ লিখতে একটি দৃষ্টি-ভাষা মডেল ব্যবহার করুন এবং সাধারণ পাঠ্য এম্বেডিং সহ সূচী করুন। এটি সহজ এবং বিদ্যমান পরিকাঠামোর সাথে মানানসই, কিন্তু ক্যাপশনকারী যা কিছু মিস করেন তা হারিয়ে যায়। দ্বিতীয়টি একটি শেয়ার্ড ভেক্টর স্পেসে ইমেজ এবং টেক্সট এম্বেড করে, যেমন CLIP-স্টাইল মডেলগুলি করে, তাই একটি টেক্সট কোয়েরি সরাসরি একটি ফটো বা চিত্র পুনরুদ্ধার করতে পারে। এটি পণ্যের ক্যাটালগগুলির মতো চিত্র-ভারী সংগ্রহগুলির জন্য উপযুক্ত, তবে সাধারণ চিত্র এম্বেডিংগুলি নথির ভিতরে ঘন পাঠ্য পড়ার ক্ষেত্রে দুর্বল। তৃতীয়টি প্রতিটি পৃষ্ঠাকে একটি স্ক্রিনশট হিসাবে বিবেচনা করে। ColPali, 2024 সালে প্রকাশিত, একটি দৃষ্টি-ভাষা মডেলের সাথে পৃষ্ঠার চিত্রগুলিকে এম্বেড করে এবং দেরী মিথস্ক্রিয়া ব্যবহার করে প্রশ্নের বিপরীতে স্কোর করে, ColBERT-এর শৈলীতে অনেকগুলি ইমেজ-প্যাচ ভেক্টরের সাথে অনেক ক্যোয়ারী-টোকেন ভেক্টরের তুলনা করে। এটি সম্পূর্ণরূপে OCR এবং লেআউট পার্সিং এড়িয়ে যায়, এবং এটি এর সাথে প্রবর্তিত ViDoRe নথি-পুনরুদ্ধার বেঞ্চমার্কে দৃঢ়ভাবে পারফর্ম করেছে। পুনরুদ্ধার মাত্র অর্ধেক কাজ. জেনারেটরকে অবশ্যই বিষয়বস্তু দেখতে হবে, তাই উত্তরগুলি সাধারণত পৃষ্ঠার চিত্র বা ক্রপ করা চিত্র দেওয়া একটি দৃষ্টি-সক্ষম মডেল থেকে আসে, শুধুমাত্র একটি ক্যাপশন নয়। একটি সাধারণ ভুল ধারণা হল মাল্টিমোডাল RAG মানে পাঠ্য পাইপলাইন পরিত্যাগ করা। অনুশীলনে, হাইব্রিড সিস্টেমগুলি যা পার্স করা পাঠ্য, টেবিল নিষ্কাশন এবং পৃষ্ঠা-চিত্র পুনরুদ্ধারকে একত্রিত করে তা সাধারণ, কারণ প্রতিটি পদ্ধতি অন্যদের ব্যর্থতা ধরা দেয়।

বাস্তব-বিশ্ব বাস্তবায়ন

একজন প্রস্তুতকারকের রক্ষণাবেক্ষণ সহকারী একটি পাম্প মডেলের জন্য বিস্ফোরিত অংশের চিত্রটি পুনরুদ্ধার করে এবং এটি একটি দৃষ্টি-সক্ষম মডেলকে দেখায়, যা অঙ্কনের লেবেল থেকে সঠিক গ্যাসকেট সনাক্ত করে।

একজন আর্থিক বিশ্লেষক বিভাগ অনুসারে ত্রৈমাসিক রাজস্ব সম্পর্কে জিজ্ঞাসা করেন, এবং সিস্টেমটি চার্টের মান বাদ দেওয়া OCR পাঠ্যের উপর নির্ভর না করে বার চার্ট ধারণকারী পৃষ্ঠার চিত্রটি পুনরুদ্ধার করে।

একজন খুচরা বিক্রেতা ক্রেতাদের "সবুজ সিরামিক টেবিল ল্যাম্প" এর মতো একটি পাঠ্য ক্যোয়ারী সহ একটি ক্যাটালগ অনুসন্ধান করতে দেয় এবং মিলিত পণ্যের ফটোগুলি ফেরাতে শেয়ার করা ছবি-টেক্সট এম্বেডিং ব্যবহার করে৷

একটি রেকর্ড অফিস পৃষ্ঠার স্ক্রিনশট হিসাবে কয়েক দশক ধরে স্ক্যান করা ফর্মগুলিকে সূচী করে, তাই ক্লার্করা এমন নথিগুলি খুঁজে পেতে পারে যার নিম্নমানের স্ক্যানগুলি অবিশ্বস্ত ওসিআর পাঠ্য তৈরি করে৷

মাল্টিমোডাল RAG এর ভবিষ্যত

দৃষ্টি-ভাষা মডেলগুলি সরাসরি নথি পড়ার ক্ষেত্রে উন্নতি করতে থাকে, যা পৃষ্ঠা-চিত্র পুনরুদ্ধার এবং ভঙ্গুর পার্সিং পদক্ষেপগুলি এড়িয়ে যাওয়ার ক্ষেত্রে কেসকে শক্তিশালী করে। মাল্টি-ভেক্টর স্টোরেজ খরচ একটি ব্যবহারিক বাধা রয়ে গেছে, এবং ভেক্টর ডাটাবেস দেরী মিথস্ক্রিয়া অনুসন্ধানের জন্য এটির সমাধান করার জন্য সমর্থন যোগ করছে। ভিডিও এবং অডিও পুনরুদ্ধার অনুরূপ ধারণা প্রয়োগ করে, ফ্রেম বা ট্রান্সক্রিপ্টগুলি পুনরুদ্ধার ইউনিট হিসাবে ব্যবহার করে, তবে টুলিং কম পরিপক্ক। মূল্যায়ন টেক্সট RAG পিছিয়ে; ViDoRe সাহায্যের মতো পাবলিক বেঞ্চমার্ক, তবে সংস্থাগুলির এখনও তাদের নিজস্ব স্ক্যান করা ফর্ম, চার্ট এবং স্লাইডগুলি থেকে তৈরি পরীক্ষার সেটগুলির প্রয়োজন হবে কোন পদ্ধতি তাদের জন্য কাজ করে তা জানতে।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Multimodal RAG quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

Multimodal RAG কি?

মাল্টিমোডাল RAG হল পুনরুদ্ধার-বর্ধিত প্রজন্ম যা কেবলমাত্র সাধারণ পাঠ্য অংশ নয়, চিত্র, চার্ট, টেবিল এবং স্ক্যান করা পৃষ্ঠাগুলি অনুসন্ধান এবং ব্যবহার করতে পারে। এটি টেক্সটে ভিজ্যুয়াল কন্টেন্ট ক্যাপশন করে, শেয়ার করা স্পেসে ইমেজ এবং টেক্সট এম্বেড করে বা ভিশন মডেলের সাথে পুরো পৃষ্ঠার স্ক্রিনশট পুনরুদ্ধার করে কাজ করে। এটি গুরুত্বপূর্ণ কারণ অনেক বাস্তব-বিশ্বের জ্ঞান PDF, স্লাইড এবং ডায়াগ্রামে বসে যা শুধুমাত্র পাঠ্য-পাইপলাইনগুলি বিকৃত বা উপেক্ষা করে।

সাধারণত কী ভুল হয় যখন একটি পাঠ্য-শুধু RAG পাইপলাইন টেবিল এবং চার্টে পূর্ণ একটি PDF প্রক্রিয়া করে?

প্লেইন টেক্সট পার্সিং লেআউট বাতিল করে, তাই টেবিলের গঠন ভেঙে যায় এবং ভিজ্যুয়াল তথ্য অদৃশ্য হয়ে যায়।

ক্যাপশন-এভরিথিং-টু-টেক্সট পদ্ধতির প্রধান দুর্বলতা কী?

পুনরুদ্ধার শুধুমাত্র উত্পন্ন বিবরণ যা আছে তা খুঁজে পেতে পারেন; বাদ দেওয়া বিবরণ অদৃশ্য।

মাল্টিমোডাল RAG-তে CLIP-শৈলীর মডেলগুলি কী সম্ভব করে তোলে?

একটি ভাগ করা স্থান মানে একটি পাঠ্য ক্যোয়ারী ভেক্টর সরাসরি ইমেজ ভেক্টরের সাথে তুলনা করা যেতে পারে।

ColPali এর পদ্ধতির স্বাতন্ত্র্য কি?

ColPali সম্পূর্ণরূপে পার্সিং ধাপ এড়িয়ে পৃষ্ঠা চিত্রটিকে পুনরুদ্ধার ইউনিট হিসাবে বিবেচনা করে।

দেরী মিথস্ক্রিয়ায়, একটি পৃষ্ঠার বিপরীতে একটি প্রশ্ন কীভাবে স্কোর করা হয়?

দেরী মিথস্ক্রিয়া উভয় দিকে একাধিক ভেক্টর রাখে এবং সেরা ম্যাচগুলিকে একত্রিত করে, যেমন ColBERT পাঠ্যের জন্য করে।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →