পরবর্তী আপপরবর্তী গাইড
পণ্যের পাতায় এআই পর্যালোচনার সারাংশ
ভাষা এআই
ভাষা এআই গাইড
বড় ভাষার মডেল যেমন GPT-4 ইউনিফর্ম বার পরীক্ষার সিমুলেটেড সংস্করণে সাধারণ পাসিং লাইনের উপরে স্কোর করেছে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
2023 সালে রিপোর্ট করা 400 টির মধ্যে 298টি সবচেয়ে বেশি পরিচিত। তারা নির্দিষ্ট গ্রেডিং এবং তুলনা পছন্দের অধীনে পরীক্ষার কার্যকারিতা পরিমাপ করে, একজন অনুশীলনকারী আইনজীবীর প্রয়োজনীয় সম্পূর্ণ রায় নয়।
ইউনিফর্ম বার পরীক্ষার (UBE) তিনটি অংশ রয়েছে। মাল্টিস্টেট বার পরীক্ষায় (MBE) 200টি বহুনির্বাচনী প্রশ্ন রয়েছে এবং অর্ধেক স্কোরের জন্য গণনা করা হয়েছে। মাল্টিস্টেট রচনা পরীক্ষায় (এমইই) ছয়টি প্রবন্ধ রয়েছে। মাল্টিস্টেট পারফরম্যান্স টেস্ট (এমপিটি) এর দুটি কাজ রয়েছে যেখানে পরীক্ষার্থী একটি মেমো বা সংক্ষিপ্ত লেখার জন্য তথ্য এবং আইনের একটি বন্ধ ফাইল থেকে কাজ করে। স্কোর 400-এ চলে, এবং প্রতিটি বিচারব্যবস্থা তার নিজস্ব পাসিং লাইন সেট করে, সাধারণত 260 এবং 270 এর মধ্যে। 2022 সালের শেষের দিকে, মাইকেল বোমারিটো এবং ড্যানিয়েল মার্টিন কাটজ এমবিই অনুশীলন প্রশ্নে GPT-3.5 পরীক্ষা করেছিলেন। এটি প্রায় অর্ধেক সঠিকভাবে উত্তর দিয়েছে: সুযোগের উপরে, তবে পাস করার নীচে। 2023 সালের মার্চ মাসে, Katz, Bommarito, Shang Gao এবং Pablo Arredondo রিপোর্ট করেছেন যে GPT-4 সম্পূর্ণ সিমুলেটেড UBE-তে প্রায় 297 স্কোর করেছে। OpenAI-এর GPT-4 প্রযুক্তিগত প্রতিবেদনে মোটামুটি 298 এবং 90 তম এর কাছাকাছি একটি পার্সেন্টাইল উল্লেখ করা হয়েছে। পার্সেন্টাইল তীক্ষ্ণ সমালোচনা করেছে। কৃত্রিম বুদ্ধিমত্তা ও আইন জার্নালে 2024 সালের একটি গবেষণাপত্রে, এরিক মার্টিনেজ দেখিয়েছেন যে 90-শতাংশ সংখ্যাটি ফেব্রুয়ারির পরীক্ষার্থীদের উপর ভিত্তি করে। ফেব্রুয়ারী গ্রুপে অস্বাভাবিকভাবে বৃহত্তর লোকের অংশ রয়েছে যারা ব্যর্থ হওয়ার পরে পুনরায় পরীক্ষায় অংশ নেয়। প্রথমবারের মতো জুলাই-গ্রহণকারীদের সাথে তুলনা করে, তার অনুমান প্রায় 60 তম পার্সেন্টাইলে নেমে এসেছে এবং প্রবন্ধগুলিতে কম। তিনি আরও উল্লেখ করেছেন যে প্রবন্ধগুলি প্রকাশিত নমুনা উত্তরগুলির বিরুদ্ধে গবেষকদের দ্বারা স্কোর করা হয়েছিল, প্রশিক্ষিত বার গ্রেডারের দ্বারা নয়, যা অনিশ্চয়তা যোগ করে। দূষণ আরেকটি উদ্বেগের বিষয়: অতীতের প্রশ্নগুলি অনলাইনে প্রচারিত হয় এবং প্রশিক্ষণের ডেটাতে থাকতে পারে। একটি সাধারণ ভুল ধারণা হল বার পাস করার অর্থ হল একটি মডেল আইন অনুশীলন করতে পারে। পরীক্ষার নিয়ম এবং কাঠামোগত বিশ্লেষণের প্রত্যাহার তথ্যের একটি বন্ধ সেটের মধ্যে পরীক্ষা করে। অনুশীলনের জন্য তথ্য অনুসন্ধান করা, ক্লায়েন্টদের পরামর্শ দেওয়া, কৌশল পরিকল্পনা করা, ঝুঁকি বিচার করা এবং পেশাদার দায়িত্ব নেওয়া প্রয়োজন। মাতা বনাম আভিয়ানকা (2023), আইনজীবীরা ChatGPT উদ্ভাবিত উদ্ধৃতি সম্বলিত একটি সংক্ষিপ্ত আবেদন করেছেন। মামলাটি দেখিয়েছে যে পরীক্ষা-স্তরের সাবলীলতা নির্ভরযোগ্য আইনি গবেষণার নিশ্চয়তা দেয় না।
OpenAI এর মার্চ 2023 GPT-4 প্রযুক্তিগত প্রতিবেদনে একটি সিমুলেটেড ইউনিফর্ম বার পরীক্ষার স্কোর 400 এর মধ্যে প্রায় 298 এবং 90 তম এর কাছাকাছি একটি পার্সেন্টাইল তালিকাভুক্ত করা হয়েছে, একটি চিত্র যা তখন শিরোনামে ব্যাপকভাবে পুনরাবৃত্তি হয়েছিল।
একজন আইন অধ্যাপক একটি চ্যাটবটের মাধ্যমে এমবিই-স্টাইলের বহুনির্বাচনী প্রশ্নগুলি চালান এবং তার উত্তরগুলি তার ছাত্রদের সাথে তুলনা করেন। মডেলটি কালো-অক্ষরের নিয়মে শক্তিশালী কিন্তু ঘটনাগুলি ইচ্ছাকৃতভাবে অস্পষ্ট হলে কম নির্ভরযোগ্য।
একজন মূল্যায়নকারী পরীক্ষা করেন যে একটি মডেলের প্রশিক্ষণ কাটঅফের আগে অনুশীলন প্রশ্ন অনলাইনে পোস্ট করা হয়েছিল কিনা। একটি মডেল যা ইতিমধ্যে প্রশ্নটি দেখেছে তা যুক্তির পরিবর্তে একটি উত্তর স্মরণ করতে পারে।
একজন বার আবেদনকারী একটি AI টিউটর ব্যবহার করে তার মিস করা MBE প্রশ্নগুলি ব্যাখ্যা করার জন্য। তিনি প্রতিটি ব্যাখ্যাকে একটি বাণিজ্যিক রূপরেখার বিপরীতে পরীক্ষা করেন কারণ গৃহশিক্ষক কখনও কখনও সংখ্যাগরিষ্ঠ নিয়ম হিসাবে একটি সংখ্যালঘু নিয়ম উপস্থাপন করেন।
বার স্কোর একটি মানদণ্ড হিসাবে কম দরকারী হয়ে উঠছে. শীর্ষ মডেলগুলি ইতিমধ্যেই বহু-পছন্দের আইনি প্রশ্নে সিলিং এর কাছাকাছি স্কোর করেছে, এবং দূষণ বাতিল করা কঠিন। গবেষকরা লিগ্যালবেঞ্চের মতো টাস্ক সংগ্রহের দিকে অগ্রসর হয়েছেন, 2023 সালে প্রকাশিত একটি সহযোগী বেঞ্চমার্ক যা আইনি যুক্তিকে অনেক সংকীর্ণ কাজের মধ্যে ভেঙে দেয়। তারা বাস্তব কাজের উপর নির্মিত পরীক্ষার দিকেও চলে গেছে, যেমন গবেষণা মেমো এবং চুক্তি পর্যালোচনা, অনুশীলনকারী আইনজীবীদের দ্বারা গ্রেড করা। NCBE-এর নেক্সটজেন বার পরীক্ষা, যা 2026 সালে শুরু করার পরিকল্পনা করা হয়েছে, গবেষণা এবং খসড়া তৈরির মতো সমন্বিত দক্ষতাকে আরও বেশি গুরুত্ব দেয়৷ এটি AI এর সাথে তুলনাকে আরও তথ্যপূর্ণ করে তুলতে পারে। মডেলগুলি পরীক্ষায় উত্তীর্ণ হতে পারে কিনা তা মূলত নিষ্পত্তি করা হয়েছে। খোলা প্রশ্ন হল তারা কতটা নির্ভরযোগ্যভাবে পারফর্ম করে এবং কীভাবে তারা ব্যর্থ হয়, অপরিচিত বাস্তব বিষয়ে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
বড় ভাষার মডেল যেমন GPT-4 ইউনিফর্ম বার পরীক্ষার সিমুলেটেড সংস্করণে সাধারণ পাসিং লাইনের উপরে স্কোর করেছে। 2023 সালে রিপোর্ট করা 400 টির মধ্যে 298টি সবচেয়ে বেশি পরিচিত। তারা নির্দিষ্ট গ্রেডিং এবং তুলনা পছন্দের অধীনে পরীক্ষার কার্যকারিতা পরিমাপ করে, একজন অনুশীলনকারী আইনজীবীর প্রয়োজনীয় সম্পূর্ণ রায় নয়।
MBE হল 200-প্রশ্নের একাধিক-পছন্দের বিভাগ এবং UBE স্কোরের 50 শতাংশ তৈরি করে। MEE হল ছয়টি রচনা, এবং MPT হল দুটি বন্ধ-ফাইল কাজ।
OpenAI 400 এর মধ্যে মোটামুটি 298 রিপোর্ট করেছে। এটি 260 থেকে 270 পাসিং রেঞ্জের উপরে যা এখতিয়ার জুড়ে সাধারণ, এবং এটি 90 তম এর কাছাকাছি একটি শতাংশের সাথে যুক্ত ছিল।
ফেব্রুয়ারী গ্রুপে অকৃতকার্য হওয়ার পরে পুনরায় পরীক্ষায় অংশগ্রহণকারী লোকদের একটি বড় অংশ অন্তর্ভুক্ত। প্রথমবারের মতো জুলাইয়ের গ্রাহকদের সাথে তুলনা করে, মার্টিনেজ অনুমান করেছেন যে GPT-4 সামগ্রিকভাবে প্রায় 60 তম শতাংশে নেমে এসেছে।
প্রবন্ধগুলি অধ্যয়নের লেখকরা প্রকাশিত নমুনা উত্তরগুলির বিপরীতে স্কোর করেছিলেন, প্রশিক্ষিত বার গ্রেডারের দ্বারা নয়। মার্টিনেজ উল্লেখ করেছেন যে এটি লিখিত-বিভাগের স্কোরগুলিতে অনিশ্চয়তা যোগ করে।
GPT-3.5 মোটামুটি অর্ধেক প্রশ্ন সঠিক পেয়েছে। এটি চার-বিকল্প প্রশ্নে অনুমান করা থেকে প্রত্যাশিত 25 শতাংশের উপরে, তবে একটি পাসিং স্তরের নীচে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
পণ্যের পাতায় এআই পর্যালোচনার সারাংশ
ভাষা এআই