এআই হ্যালুসিনেশন
একটি AI হ্যালুসিনেশন হল যখন একটি মডেল কিছু মিথ্যা বলে যেন এটি সত্য - একটি জাল উদ্ধৃতি, একটি তৈরি পরিসংখ্যান, একটি ভুল সত্য - সাবলীলভাবে এবং আত্মবিশ্বাসের সাথে।
ওভারভিউ
It is the single biggest trust problem with today's language models.
গভীর ডুব
হ্যালুসিনেশনগুলি সাধারণ অর্থে বাগ নয়; তারা মডেল কিভাবে কাজ করে আউট পড়ে. একটি ভাষা মডেলকে পরিসংখ্যানগতভাবে বিশ্বাসযোগ্য পাঠ্য তৈরি করতে প্রশিক্ষিত করা হয়, সত্য যাচাই করার জন্য নয়। যখন এটি একটি ফাঁকে আঘাত করে - এমন একটি সত্য যা এটি কখনই শেখেনি, বা একটি প্রশ্ন যার প্রশিক্ষণে কোন স্পষ্ট উত্তর নেই - এটি বলে না 'আমি জানি না।' পরিবর্তে এটি সবচেয়ে সম্ভাব্য-শব্দযুক্ত ধারাবাহিকতা তৈরি করে, যা একটি আত্মবিশ্বাসী বানোয়াট হতে পারে। আউটপুট মসৃণভাবে পড়ে, তাই ত্রুটিটি মিস করা সহজ। সাধারণ ফর্মগুলির মধ্যে রয়েছে উদ্ভাবিত বইয়ের শিরোনাম বা আইনি মামলা, জাল ইউআরএল, ভুল-অ্যাট্রিবিউটেড উদ্ধৃতি, এবং যুক্তিযুক্ত-কিন্তু-ভুল সংখ্যা। ওষুধ, আইন এবং অর্থের মতো উচ্চ-স্টেকের সেটিংসে এগুলি বিশেষত বিপজ্জনক, যেখানে একটি সাবলীল ভুল উত্তর একটি স্পষ্ট উত্তরের চেয়ে ব্যয়বহুল হতে পারে। গুরুত্বপূর্ণভাবে, এমনকি সঠিক নথি সরবরাহ করা হলেও, মডেলগুলি এখনও তাদের বিরোধিতা বা উপেক্ষা করতে পারে।
প্রযুক্তিগত অন্তর্দৃষ্টি
মূল কারণটি হল প্রশিক্ষণের উদ্দেশ্য: পরবর্তী টোকেনটির ভবিষ্যদ্বাণী করুন যাতে সম্ভাব্যতা বাড়ানো যায়, কোন অন্তর্নির্মিত সত্য পরীক্ষা এবং 'আমি অনিশ্চিত' এর জন্য কোন নির্ভরযোগ্য অভ্যন্তরীণ সংকেত ছাড়াই। পুনরুদ্ধার-অগমেন্টেড জেনারেশন (RAG) প্রম্পটে প্রকৃত উৎস নথি ইনজেকশনের মাধ্যমে সাহায্য করে, কিন্তু এটি একটি নিরাময় নয় — গবেষণায় দেখায় যখন পুনরুদ্ধার শোরগোল হয় বা যখন মডেলের অভ্যন্তরীণ 'জ্ঞান' পুনরুদ্ধার করা পাঠ্যের সাথে দ্বন্দ্ব হয় তখনও মডেলগুলি হ্যালুসিনেট করে। অন্যান্য প্রশমনের মধ্যে রয়েছে উদ্ধৃতিতে গ্রাউন্ডিং উত্তর, পুনরুদ্ধার করা প্রমাণ পুনরায় র্যাঙ্ক করা, এবং অগ্রাধিকার ফাইন-টিউনিং যা বিশ্বস্ত, উত্স-সমর্থিত আউটপুটকে পুরস্কৃত করে।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
এআই হ্যালুসিনেশনের ভবিষ্যত
হ্যালুসিনেশনগুলি হ্রাস করা হবে, নির্মূল করা হবে না — এগুলি এই মডেলগুলির সম্ভাব্য মূলের সাথে আবদ্ধ। আরও ভাল ক্রমাঙ্কন (মডেল যেগুলি অনিশ্চয়তার সংকেত দেয়), যাচাইযোগ্য উদ্ধৃতি সহ কঠোর গ্রাউন্ডিং, স্বয়ংক্রিয় স্ব-পরীক্ষা এবং সত্য-যাচাই পাস এবং 'বর্জন' আচরণের প্রত্যাশা করুন যেখানে মডেলটি অনুমান করার পরিবর্তে হ্রাস পায়। মানদণ্ড এবং প্রবিধান বিক্রেতাদের হ্যালুসিনেশন হার রিপোর্ট করার জন্য চাপ দেবে। আপাতত, ব্যবহারিক উত্তর হল মানব পর্যালোচনা এবং পুনরুদ্ধার এবং যাচাইকরণ, বিশেষ করে যে কোনও জায়গায় একটি আত্মবিশ্বাসী ভুল উত্তরের দাম বেশি।
বাস্তব-বিশ্ব বাস্তবায়ন
বাস্তবসম্মত চেহারার নাম এবং ডকেট নম্বর সহ বিদ্যমান নেই এমন আদালতের মামলা উদ্ধৃত করে একজন আইনি সহকারী
একটি চ্যাটবট একটি যুক্তিসঙ্গত কিন্তু জাল একাডেমিক কাগজ এবং লেখক উদ্ভাবন করে যখন একটি উত্স জানতে চাওয়া হয়৷
একটি কোডিং সহকারী একটি লাইব্রেরি ফাংশন বা API প্যারামিটারকে কল করে যা কখনই বাস্তব ছিল না
একটি চিকিৎসা সংক্ষিপ্তকারী একটি আত্মবিশ্বাসী ডোজ উল্লেখ করে যা এটি দেওয়া উৎস নথির বিরোধিতা করে
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the AI Hallucinations quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
এআই ফাউন্ডেশনে পরবর্তী
এআই মিথস
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is AI Hallucinations?
একটি AI হ্যালুসিনেশন হল যখন একটি মডেল কিছু মিথ্যা বলে যেন এটি সত্য - একটি জাল উদ্ধৃতি, একটি তৈরি পরিসংখ্যান, একটি ভুল সত্য - সাবলীলভাবে এবং আত্মবিশ্বাসের সাথে। এটি আজকের ভাষার মডেলগুলির সাথে একক বৃহত্তম বিশ্বাসের সমস্যা।
ভাষা মডেল হ্যালুসিনেটের মূল কারণ কী?
মডেলগুলি পরিসংখ্যানগতভাবে সম্ভাব্য পরবর্তী টোকেনগুলির জন্য অপ্টিমাইজ করে৷ কোন অন্তর্নির্মিত সত্য চেক ছাড়া, তারা মিথ্যা হতে পারে এমন যুক্তিসঙ্গত-শব্দযুক্ত আউটপুট দিয়ে ফাঁক পূরণ করে।
হ্যালুসিনেশন কেন বিশেষভাবে বিপজ্জনক?
কারণ মিথ্যা আউটপুটটি সাবলীল এবং আত্মবিশ্বাসী, এটি সঠিক উত্তরগুলির সাথে মিশে যায় এবং ব্যবহারকারীদের বিশ্বাস করা সহজ।
পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG) কি সম্পূর্ণরূপে হ্যালুসিনেশন দূর করে?
RAG বাস্তব উত্সগুলিতে উত্তরগুলিকে ভিত্তি করে হ্যালুসিনেশন হ্রাস করে, তবে মডেলগুলি এখনও হ্যালুসিনেশন করতে পারে যখন পুনরুদ্ধার অসম্পূর্ণ হয় বা তাদের অভ্যন্তরীণ জ্ঞানের সাথে দ্বন্দ্ব হয়।
কোনটি হ্যালুসিনেশনের প্রকৃত উদাহরণ?
একটি অস্তিত্বহীন কিন্তু বাস্তবসম্মত উদ্ধৃতি উদ্ভাবন একটি ক্লাসিক হ্যালুসিনেশন - আত্মবিশ্বাসী, নির্দিষ্ট এবং মিথ্যা।
হ্যালুসিনেশন কমানোর জন্য কোন পদ্ধতিটি একটি স্বীকৃত উপায়?
বাস্তব নথিতে ভিত্তি করা, উত্স উদ্ধৃত করা, প্রমাণ পুনঃ র্যাঙ্ক করা, এবং বিশ্বস্ততার জন্য অগ্রাধিকার-টিউনিং সবই বানোয়াট কমাতে সাহায্য করে।