পরবর্তী আপপরবর্তী গাইড
RAG মূল্যায়ন মেট্রিক্স এবং RAGAS
টেকনিক্যাল
প্রযুক্তিগত গাইড
Pass@k হল সম্ভাব্যতা যে একটি মডেল থেকে k নমুনাযুক্ত প্রচেষ্টার মধ্যে অন্তত একটি সমস্যা সমাধান করে, সাধারণত জেনারেট করা কোডে লুকানো ইউনিট পরীক্ষা চালিয়ে পরীক্ষা করা হয়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি গুরুত্বপূর্ণ কারণ কোড এবং এজেন্ট বেঞ্চমার্কগুলি এটি ক্রমাগত রিপোর্ট করে, এবং একটি পাস@10 বা পাস@100 স্কোর একজন ব্যবহারকারী একবার চেষ্টা করে যা পায় তার চেয়ে অনেক ভাল দেখতে পারে।
Pass@k প্রোগ্রাম সংশ্লেষণ গবেষণা থেকে বড় হয়েছে, যেখানে কুলাল এবং সহকর্মীরা এটিকে 2019 সালে সিউডোকোড-টু-কোড কাজের জন্য ব্যবহার করেছিল এবং এটি OpenAI-এর 2021 Codex কাগজের সাথে মানসম্পন্ন হয়ে ওঠে, যা HumanEval চালু করেছিল, 164টি হাতে-লেখা ZQAIZQ1 প্রোগ্রামের একটি সেট। প্রতিটি সমস্যার জন্য মডেলটি একটি ফাংশন লেখে, এবং ফাংশনটি সঠিক হিসাবে গণনা করা হয় যদি এটি লুকানো ইউনিট পরীক্ষায় উত্তীর্ণ হয়। Pass@k জিজ্ঞাসা করে: আপনি যদি k নমুনা আঁকেন, তাহলে অন্তত একজন পাস করার সম্ভাবনা কী? বেঞ্চমার্ক স্কোর হল সম্ভাব্যতা সব সমস্যার উপর গড়। নিষ্পাপ পদ্ধতি হল প্রতি সমস্যায় ঠিক k নমুনা তৈরি করা এবং কোনো পাস কিনা তা পরীক্ষা করা, কিন্তু সেই অনুমানটি খুব গোলমেলে। Codex কাগজটি পরিবর্তে n নমুনা তৈরি করে, যেখানে n k থেকে বড় (উদাহরণস্বরূপ 200), c সঠিকগুলি গণনা করে, এবং k নমুনার একটি এলোমেলো উপসেটে অন্তত একটি সঠিক নমুনা রয়েছে এমন সম্ভাব্যতা গণনা করে: 1 বিয়োগ C(n বিয়োগ c, k) C(n, k) দ্বারা বিভক্ত। এই অনুমানকারী নিরপেক্ষ এবং অনেক কম পরিবর্তনশীল। পাওয়ার k-তে c/n-কে 1 বিয়োগ (1 বিয়োগ p) এ প্লাগ করার শর্টকাট পক্ষপাতদুষ্ট। নমুনা তাপমাত্রা বিষয়. পাস@1 সাধারণত কম তাপমাত্রায় সেরা, যখন পাস@100 উচ্চ তাপমাত্রা থেকে উপকৃত হয় কারণ আরও বৈচিত্র্যময় নমুনাগুলি একটি কাজ করার সম্ভাবনা বাড়ায়। কাগজগুলি প্রায়শই প্রতিটি k-এর জন্য আলাদা তাপমাত্রা বেছে নেয়। এজেন্ট বেঞ্চমার্ক একটি পরিপূরক মেট্রিক যোগ করেছে। সিয়েরার টাউ-বেঞ্চ পেপার (2024) পাস^k সংজ্ঞায়িত করেছে, সম্ভাব্যতা যে সমস্ত k স্বাধীন পরীক্ষা সফল হয়েছে। এটি ক্ষমতার চেয়ে নির্ভরযোগ্যতা পরিমাপ করে। সাধারণ ভুল পাঠের মধ্যে রয়েছে একটি মডেলের pass@10-এর সাথে অন্যের pass@1-এর তুলনা করা, ভুলে যাওয়া যে pass@k অনুমান করে যে কিছু ইতিমধ্যেই জানে কোন নমুনাটি সঠিক, এবং লোভী-ডিকোডিং pass@1 কে নমুনা পাস@1 এর সাথে অভিন্ন হিসাবে বিবেচনা করা। দুর্বল ইউনিট পরীক্ষা প্রতিটি pass@k নম্বরকে স্ফীত করে, যে কারণে EvalPlus HumanEval-এ আরও অনেক পরীক্ষা যোগ করেছে এবং স্কোর হ্রাস পেয়েছে।
একটি দল HumanEval নমুনা প্রতি সমস্যা 200 সমাপ্তির একটি কোড মডেল মূল্যায়ন করে, কতজন পরীক্ষায় পাস করেছে তা গণনা করে এবং নিরপেক্ষ অনুমানকারী ব্যবহার করে সেই এক সেট নমুনা থেকে পাস@1, পাস@10 এবং পাস@100 রিপোর্ট করে।
একটি সম্পাদক স্বয়ংসম্পূর্ণ যা একটি প্রস্তাবনা দেখায় pass@1 দ্বারা বিচার করা উচিত, যখন একটি টুল যা পাঁচজন প্রার্থী তৈরি করে এবং একজন কর্মক্ষমকে বেছে নেওয়ার জন্য আপনার পরীক্ষা স্যুট চালায় সেটি পাস@5 পরিস্থিতির কাছাকাছি।
একজন গ্রাহক-সমর্থন এজেন্ট যেটি 75 শতাংশ ট্রায়ালে সফল হয় pass@k-এ শক্তিশালী দেখায়, কিন্তু যদি ট্রায়ালগুলি স্বাধীন হয় তবে তার পাস^4 স্কোর (চারটি ট্রায়ালই সফল হয়েছে) প্রায় 0.32, যা দেখায় যে বারবার ব্যবহারে এটি কতটা অবিশ্বস্ত মনে হবে।
একটি প্রতিযোগিতামূলক প্রোগ্রামিং সিস্টেম অনেক প্রার্থীর প্রোগ্রাম তৈরি করে, উদাহরণ পরীক্ষার বিপরীতে ফিল্টার করে এবং অল্প সংখ্যক জমা দেয়; এর রিপোর্ট করা সমাধানের হার নির্ভর করে কতগুলি জমা দেওয়ার অনুমতি দেওয়া হয়েছিল, যা একটি pass@k-স্টাইল বাজেট।
যেহেতু মডেলগুলি একক পূর্ণতা থেকে বহু-পদক্ষেপ এজেন্টে চলে যায়, পাস^k এবং রান-টু-রান সামঞ্জস্যের মতো নির্ভরযোগ্যতা পরিমাপগুলি pass@k-এর পাশাপাশি আরও বেশি মনোযোগ পাচ্ছে, কারণ ব্যবহারকারীরা একটি প্রচেষ্টার অভিজ্ঞতা লাভ করে, অনেকের মধ্যে সেরা নয়। বেঞ্চমার্ক লেখকরাও শক্তিশালী টেস্ট স্যুটগুলিতে বিনিয়োগ করছেন, যেহেতু দুর্বল পরীক্ষাগুলি ভুল কোড পাস করতে দেয় এবং প্রতিটি মেট্রিক স্ফীত করে। যত্নশীল প্রতিবেদনে k, নমুনা গণনা, তাপমাত্রা এবং কোনো নির্বাচনের ধাপ ব্যবহার করা হয়েছে কিনা তা উল্লেখ করা উচিত, তবে অনুশীলন পরিবর্তিত হয়, তাই পাঠকদের অনুমান করার পরিবর্তে সেই বিবরণগুলি পরীক্ষা করা উচিত।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
Pass@k হল সম্ভাব্যতা যে একটি মডেল থেকে k নমুনাযুক্ত প্রচেষ্টার মধ্যে অন্তত একটি সমস্যা সমাধান করে, সাধারণত জেনারেট করা কোডে লুকানো ইউনিট পরীক্ষা চালিয়ে পরীক্ষা করা হয়। এটি গুরুত্বপূর্ণ কারণ কোড এবং এজেন্ট বেঞ্চমার্কগুলি এটি ক্রমাগত রিপোর্ট করে, এবং একটি পাস@10 বা পাস@100 স্কোর একজন ব্যবহারকারী একবার চেষ্টা করে যা পায় তার চেয়ে অনেক ভাল দেখতে পারে।
Pass@k হল অন্তত একটি k প্রচেষ্টা সফল হওয়ার সুযোগ। বেঞ্চমার্ক স্কোর গড় করে যে সম্ভাব্যতা সব সমস্যার উপর।
HumanEval-এর 164টি হাতে লেখা Python সমস্যা রয়েছে, প্রতিটি লুকানো ইউনিট পরীক্ষা দ্বারা পরীক্ষা করা হয়।
ঠিক k নমুনা তৈরি করা একটি গোলমাল অনুমান দেয়। n নমুনা ব্যবহার করে এবং c সঠিকগুলি গণনা করা অনেক কম বৈচিত্র সহ একটি নিরপেক্ষ অনুমানের অনুমতি দেয়।
একটি এলোমেলো k-সাবসেটে শুধুমাত্র ভুল নমুনা থাকা সম্ভাবনার একটি বিয়োগ। C(c, k)/C(n, k) হল পাস^k অনুমানকারী, এবং পাওয়ার-কে শর্টকাট পক্ষপাতদুষ্ট।
Pass^k সফল হওয়ার জন্য প্রতিটি ট্রায়ালের প্রয়োজন, তাই এটি নির্ভরযোগ্যতা পরিমাপ করে, যা অনেক ব্যবহারকারীকে পরিবেশনকারী এজেন্টদের জন্য গুরুত্বপূর্ণ।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
RAG মূল্যায়ন মেট্রিক্স এবং RAGAS
টেকনিক্যাল