ভাষা এআই গাইড
সর্বোচ্চ প্রান্তিক প্রাসঙ্গিকতা
সর্বোচ্চ প্রান্তিক প্রাসঙ্গিকতা (এমএমআর) হল একটি পুনঃ-র্যাঙ্কিং পদ্ধতি যা একটি ফলাফল কতটা প্রাসঙ্গিক তা ইতিমধ্যেই নির্বাচিত ফলাফলের থেকে কতটা আলাদা তা ভারসাম্য বজায় রাখে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটি গুরুত্বপূর্ণ কারণ বিশুদ্ধ প্রাসঙ্গিকতা র্যাঙ্কিং প্রায়শই কাছাকাছি-সদৃশ প্যাসেজ ফেরত দেয় যা একটি RAG প্রসঙ্গ উইন্ডোতে স্থান নষ্ট করে।
গভীর ডুব
যখন একটি অনুসন্ধান সিস্টেম একটি প্রশ্নের সাথে প্রাসঙ্গিকতা দ্বারা সম্পূর্ণরূপে নথি স্কোর করে, তখন শীর্ষ ফলাফলগুলি প্রায়শই অপ্রয়োজনীয় হয় — পাঁচটি প্যাসেজ সব একই কথা বলে৷ এমএমআর, 1998 সালে কার্বনেল এবং গোল্ডস্টেইন দ্বারা প্রবর্তিত, একটি সময়ে ফলাফল নির্বাচন করে এটি ঠিক করে। প্রতিটি ধাপে এটি এমন প্রার্থীকে বাছাই করে যা একটি ওজনযুক্ত মিশ্রণকে সর্বাধিক করে তোলে: ল্যাম্বডা কোয়েরির সাথে তার প্রাসঙ্গিকতার গুণ, বিয়োগ (1 বিয়োগ ল্যাম্বডা) ইতিমধ্যে নির্বাচিত যেকোনো কিছুর সাথে তার সর্বাধিক মিলের গুণ। 1 এর কাছাকাছি একটি ল্যাম্বডা বিশুদ্ধ প্রাসঙ্গিকতার পক্ষে; 0 এর কাছাকাছি এটি বৈচিত্র্যের পক্ষে। পুনরুদ্ধার-বর্ধিত প্রজন্মে, এমএমআর বিভিন্ন খণ্ডের সেট আনার জন্য জনপ্রিয় তাই ভাষার মডেলটি একই সত্যের পুনরাবৃত্তি না করে পরিপূরক প্রমাণ দেখতে পায়, প্রসঙ্গটি বড় না করে কভারেজ উন্নত করে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি RAG চ্যাটবট MMR পুনরুদ্ধার ব্যবহার করে তাই এর শীর্ষ 5টি অংশ একই অনুচ্ছেদের পাঁচটি অনুচ্ছেদের পরিবর্তে একটি নীতির বিভিন্ন দিককে কভার করে।
একটি গবেষণা সংক্ষিপ্তকরণ টুল এমএমআর প্রয়োগ করে প্যাসেজ বাছাই করতে যা ওভারল্যাপ কম করে, একটি বিস্তৃত, কম পুনরাবৃত্তিমূলক সারাংশ তৈরি করে।
একটি নিউজ এগ্রিগেটর একটি ইভেন্টের বৈচিত্র্যময় কভারেজ দেখানোর জন্য MMR-এর সাথে নিবন্ধগুলিকে র্যাঙ্ক করে, দশটি আউটলেট একটি তারের গল্পের পুনরাবৃত্তি না করে।
LangChain-এর ভেক্টর স্টোর রিট্রিভার প্রত্যাবর্তিত নথিতে বৈচিত্র্য আনতে একটি fetch_k এবং lambda_mult সহ search_type='mmr' প্রকাশ করে।
সর্বাধিক প্রান্তিক প্রাসঙ্গিকতার ভবিষ্যত
ল্যাংচেইন এবং ক্রোমার মতো ভেক্টর-ডাটাবেস ক্লায়েন্টগুলিতে MMR একটি লাইটওয়েট ডিফল্ট রয়ে গেছে, যেখানে এটি এক-লাইন পুনরুদ্ধার মোড হিসাবে দেওয়া হয়। ভবিষ্যত সিস্টেমগুলি ক্রমবর্ধমানভাবে এটিকে শেখা বৈচিত্র্যের উদ্দেশ্য, ক্লাস্টার-ভিত্তিক নির্বাচন এবং ক্রস-এনকোডার রিরেঙ্কারগুলির সাথে যুক্ত করে যা কোসাইন দূরত্বের চেয়ে অভিনবত্বকে আরও বেশি শব্দার্থকভাবে বিচার করে। কনটেক্সট উইন্ডোগুলি বড় হওয়ার সাথে সাথে, স্থান বাঁচানো থেকে সত্যিকারের পরিপূরক প্রমাণগুলি কিউরেট করার দিকে জোর দেওয়া হয়, কাঁচা ক্ষমতা প্রচুর থাকা সত্ত্বেও MMR এর মতো বৈচিত্র্য-সচেতন নির্বাচনকে প্রাসঙ্গিক রাখে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- গতি এবং স্কেল. ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
- অ্যাক্সেস এবং পৌঁছানো. এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
- সুস্পষ্ট সিদ্ধান্ত. অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
জন্য সতর্ক
- হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
- প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
- অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
পরবর্তী পদক্ষেপ
- রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
- যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
- উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
- ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Maximum Marginal Relevance quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
সর্বোচ্চ প্রান্তিক প্রাসঙ্গিকতা কি?
সর্বোচ্চ প্রান্তিক প্রাসঙ্গিকতা (এমএমআর) হল একটি পুনঃ-র্যাঙ্কিং পদ্ধতি যা একটি ফলাফল কতটা প্রাসঙ্গিক তা ইতিমধ্যেই নির্বাচিত ফলাফলের থেকে কতটা আলাদা তা ভারসাম্য বজায় রাখে। এটি গুরুত্বপূর্ণ কারণ বিশুদ্ধ প্রাসঙ্গিকতা র্যাঙ্কিং প্রায়শই কাছাকাছি-সদৃশ প্যাসেজ ফেরত দেয় যা একটি RAG প্রসঙ্গ উইন্ডোতে স্থান নষ্ট করে।
প্রাথমিক সমস্যা কি MMR সমাধান করার জন্য ডিজাইন করা হয়েছে?
MMR প্রাসঙ্গিকতা-শুধু র্যাঙ্কিংয়ের প্রবণতাকে সম্বোধন করে এমন অনেক ফলাফল প্রকাশ করে যা মূলত একই কথা বলে, নতুনত্বের মাধ্যমে।
MMR সূত্রে, 1 এর কাছাকাছি একটি ল্যাম্বডা মান কিসের উপর জোর দেয়?
ল্যাম্বডা ওজন প্রাসঙ্গিকতা; 1-এর কাছাকাছি প্রাসঙ্গিক শব্দটি প্রাধান্য পায়, যখন 0-এর কাছাকাছি বৈচিত্র্য (নিম্ন-সাদৃশ্য) শব্দটি প্রাধান্য পায়৷
কিভাবে MMR তার ফলাফল নির্বাচন করে?
MMR হল একটি লোভী পুনরাবৃত্তিমূলক পদ্ধতি: প্রতিটি বাছাই প্রাসঙ্গিকতা বিয়োগ করে ইতিপূর্বে নির্বাচিত আইটেমগুলির সাথে সর্বাধিক মিল।
How can an embedding-based MMR implementation measure query relevance and document redundancy?
The general algorithm permits suitable similarity functions; cosine is a common choice for vector representations.
কেন MMR বিশেষ করে পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG) জন্য দরকারী?
পুনরুদ্ধার করা অংশগুলিকে বৈচিত্র্যময় করে, এমএমআর মডেলটিকে একই সত্য পুনরাবৃত্তির পরিবর্তে বিভিন্ন প্রমাণ দেখতে সাহায্য করে, কভারেজ উন্নত করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড