মিডল ইফেক্টে হেরে গেছে
'মাঝে হারিয়ে যাওয়া' প্রভাবটি হল ভাষা মডেলগুলির প্রবণতা হল তথ্যটি সর্বোত্তমভাবে ব্যবহার করার প্রবণতা যখন এটি একটি দীর্ঘ ইনপুটের শুরুতে বা শেষে প্রদর্শিত হয়, যখন মাঝখানে সমাহিত তথ্যগুলিকে উপেক্ষা করে।
ওভারভিউ
It matters because it limits how much we can trust long-context models with retrieved documents.
গভীর ডুব
লিউ এবং স্ট্যানফোর্ডের সহকর্মীদের দ্বারা 2023 সালের একটি গবেষণায় চিহ্নিত করা হয়েছে, যখন মডেলগুলিকে অনেকগুলি নথি দেওয়া হয়েছিল এবং মূল ঘটনাটি রয়েছে এমন একটি ব্যবহার করে উত্তর দিতে বলা হয়েছিল তখন প্রভাবটি দেখা দেয়। নির্ভুলতা একটি U-আকৃতির বক্ররেখা তৈরি করে: প্রাসঙ্গিক প্যাসেজটি প্রম্পটের শুরুতে বা শেষে বসলে সর্বোচ্চ এবং মাঝখানে বসলে লক্ষণীয়ভাবে কম। এটি দীর্ঘ-প্রসঙ্গ সক্ষম হিসাবে বিপণিত মডেলগুলির জন্যও অনুষ্ঠিত হয়। পুনরুদ্ধার-বর্ধিত প্রজন্মের জন্য প্রভাবটি তীক্ষ্ণ: একটি প্রম্পটে কয়েক ডজন প্যাসেজ স্টাফ করা গ্যারান্টি দেয় না যে মডেলটি তাদের সমানভাবে পড়বে। অবস্থান, শুধুমাত্র উপস্থিতি নয়, একটি মডেল একটি বাস্তবতা মেনে চলে কিনা তা আকার দেয়। কাজটি কার্যকরী ব্যবহারের প্রশ্ন হিসাবে দীর্ঘ প্রসঙ্গ পুনর্বিন্যাস করেছে, কাঁচা উইন্ডোর আকার নয়।
প্রযুক্তিগত অন্তর্দৃষ্টি
U-আকৃতির বক্ররেখা সম্ভবত মনোযোগ এবং অবস্থানগত এনকোডিংগুলি কীভাবে ফোকাস বিতরণ করে তা থেকে উদ্ভূত হয়। প্রাথমিক এবং নতুনত্বের পক্ষপাত, আংশিকভাবে প্রশিক্ষণ ডেটা কাঠামো এবং অবস্থানগত স্কিম থেকে উত্তরাধিকারসূত্রে প্রাপ্ত, প্রারম্ভিক এবং দেরী টোকেনগুলিকে অতিরিক্ত ওজন দেয়। কিছু ডিকোডার আর্কিটেকচারগুলি স্তরগুলির মাধ্যমে প্রারম্ভিক-টোকেন তথ্য জোরালোভাবে প্রচার করে। নেট ফলাফল হল যে মধ্যম অবস্থানগুলি হালকা মনোযোগ পায়, তাই প্রেক্ষাপটে সম্পূর্ণরূপে উপস্থিত থাকা সত্ত্বেও সেখানে স্থাপন করা একটি সঠিক উত্তর কার্যকরভাবে উপেক্ষা করা যেতে পারে।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
দ্য ফিউচার অফ লস্ট ইন দ্য মিডল ইফেক্ট
গবেষকরা মনোযোগ পরিবর্তন, অবস্থান-সচেতন প্রশিক্ষণ, এবং বুদ্ধিমান পুনরুদ্ধারের মাধ্যমে প্রভাবকে সম্বোধন করছেন যা প্রম্পটের প্রান্তগুলিতে সবচেয়ে প্রাসঙ্গিক প্যাসেজগুলিকে পুনরায় স্থান দেয়। মূল্যায়ন স্যুটগুলি এখন কার্যকর প্রসঙ্গ পরিমাপ করার জন্য পজিশন জুড়ে 'খড়ের গাদায় সুই' পরীক্ষা অন্তর্ভুক্ত করে। স্থাপত্যের উন্নতির সাথে সাথে, U-বক্ররেখা সমতল হচ্ছে, কিন্তু অনুশীলনকারীরা এমন পাইপলাইন ডিজাইন করতে থাকবে যা সমালোচনামূলক প্রমাণ রাখে যেখানে মডেলগুলি অভিন্ন মনোযোগের উপর আস্থা রাখার পরিবর্তে প্রকৃতপক্ষে দেখায়।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি RAG সিস্টেম 20টি নথি পুনরুদ্ধার করে কিন্তু উত্তরটি মিস করে কারণ এটি 20-এর মধ্যে 10 নম্বর প্যাসেজে এসেছে।
প্রম্পটে সবচেয়ে প্রাসঙ্গিক অংশটিকে প্রথমে বা শেষের দিকে রাখতে ইঞ্জিনিয়াররা অনুসন্ধানের ফলাফলগুলিকে পুনরায় র্যাঙ্ক করে।
একটি দীর্ঘ-নথির সংক্ষিপ্তসারের মূল বিবরণের ওজন কম থাকে যা চুক্তির মাঝপথে প্রদর্শিত হয়।
একটি 'খড়ের গাদায় সুই' বেঞ্চমার্ক একটি মডেলের অবস্থানগত নির্ভুলতা চার্ট করতে বিভিন্ন গভীরতায় একটি সত্য লুকিয়ে রাখে।
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lost in the Middle Effect quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
সাউন্ড এফেক্টস জেনারেল
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Lost in the Middle Effect?
'মাঝে হারিয়ে যাওয়া' প্রভাবটি হল ভাষা মডেলগুলির প্রবণতা হল তথ্যটি সর্বোত্তমভাবে ব্যবহার করার প্রবণতা যখন এটি একটি দীর্ঘ ইনপুটের শুরুতে বা শেষে প্রদর্শিত হয়, যখন মাঝখানে সমাহিত তথ্যগুলিকে উপেক্ষা করে। এটি গুরুত্বপূর্ণ কারণ এটি পুনরুদ্ধার করা নথিগুলির সাথে দীর্ঘ-প্রসঙ্গ মডেলগুলিতে আমরা কতটা বিশ্বাস করতে পারি তা সীমিত করে৷
একটি দীর্ঘ প্রম্পটের মধ্য দিয়ে মূল ঘটনাটি সরানো হলে নির্ভুলতা কী আকার নেয়?
সঠিকতা সর্বোচ্চ হয় যখন প্রাসঙ্গিক তথ্য শুরু বা শেষের কাছাকাছি থাকে এবং মাঝখানে ডুবে যায়, একটি U আকৃতি তৈরি করে।
হারানো-ইন-দ্য-মিডল প্রভাব পুনরুদ্ধার-বর্ধিত প্রজন্মের জন্য কী বোঝায়?
শুধু একটি উত্তরণ সহ যথেষ্ট নয়; যেখানে এটি প্রম্পটে বসে মডেলটির এটি ব্যবহার করার সম্ভাবনা কতটা পরিবর্তন করে।
কোন পক্ষপাতগুলি প্রভাব চালাতে বলে মনে করা হয়?
পজিশনাল এনকোডিং এবং ট্রেনিং স্ট্রাকচারের সাথে যুক্ত প্রথম এবং শেষ পজিশনে অতিরিক্ত মনোযোগ U-বক্ররেখা তৈরি করে।
দীর্ঘ-প্রসঙ্গ মডেলগুলি স্বয়ংক্রিয়ভাবে এই প্রভাব এড়ায়?
গবেষণায় দীর্ঘ-প্রসঙ্গ হিসাবে বিপণিত মডেলগুলিতে প্রভাব পাওয়া গেছে, উইন্ডোর আকার দেখানো অভিন্ন ব্যবহার নিশ্চিত করে না।
কোন বাস্তব পদক্ষেপ একটি পাইপলাইনে প্রভাব মোকাবেলা করতে সাহায্য করে?
শুরু বা শেষের কাছাকাছি সবচেয়ে প্রাসঙ্গিক প্রমাণ স্থাপন করা মডেলটি যেখানে সবচেয়ে দৃঢ়ভাবে উপস্থিত হয় তার সাথে এটিকে সারিবদ্ধ করে।