প্রযুক্তিগত গাইড

Pass@k মেট্রিক ব্যাখ্যা করা হয়েছে

Pass@k হল সম্ভাব্যতা যে একটি মডেল থেকে k নমুনাযুক্ত প্রচেষ্টার মধ্যে অন্তত একটি সমস্যা সমাধান করে, সাধারণত জেনারেট করা কোডে লুকানো ইউনিট পরীক্ষা চালিয়ে পরীক্ষা করা হয়।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. Pass@k মেট্রিকের ভবিষ্যত ব্যাখ্যা করা হয়েছে
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

এটি গুরুত্বপূর্ণ কারণ কোড এবং এজেন্ট বেঞ্চমার্কগুলি এটি ক্রমাগত রিপোর্ট করে, এবং একটি পাস@10 বা পাস@100 স্কোর একজন ব্যবহারকারী একবার চেষ্টা করে যা পায় তার চেয়ে অনেক ভাল দেখতে পারে।

গভীর ডুব

Pass@k প্রোগ্রাম সংশ্লেষণ গবেষণা থেকে বড় হয়েছে, যেখানে কুলাল এবং সহকর্মীরা এটিকে 2019 সালে সিউডোকোড-টু-কোড কাজের জন্য ব্যবহার করেছিল এবং এটি OpenAI-এর 2021 Codex কাগজের সাথে মানসম্পন্ন হয়ে ওঠে, যা HumanEval চালু করেছিল, 164টি হাতে-লেখা ZQAIZQ1 প্রোগ্রামের একটি সেট। প্রতিটি সমস্যার জন্য মডেলটি একটি ফাংশন লেখে, এবং ফাংশনটি সঠিক হিসাবে গণনা করা হয় যদি এটি লুকানো ইউনিট পরীক্ষায় উত্তীর্ণ হয়। Pass@k জিজ্ঞাসা করে: আপনি যদি k নমুনা আঁকেন, তাহলে অন্তত একজন পাস করার সম্ভাবনা কী? বেঞ্চমার্ক স্কোর হল সম্ভাব্যতা সব সমস্যার উপর গড়। নিষ্পাপ পদ্ধতি হল প্রতি সমস্যায় ঠিক k নমুনা তৈরি করা এবং কোনো পাস কিনা তা পরীক্ষা করা, কিন্তু সেই অনুমানটি খুব গোলমেলে। Codex কাগজটি পরিবর্তে n নমুনা তৈরি করে, যেখানে n k থেকে বড় (উদাহরণস্বরূপ 200), c সঠিকগুলি গণনা করে, এবং k নমুনার একটি এলোমেলো উপসেটে অন্তত একটি সঠিক নমুনা রয়েছে এমন সম্ভাব্যতা গণনা করে: 1 বিয়োগ C(n বিয়োগ c, k) C(n, k) দ্বারা বিভক্ত। এই অনুমানকারী নিরপেক্ষ এবং অনেক কম পরিবর্তনশীল। পাওয়ার k-তে c/n-কে 1 বিয়োগ (1 বিয়োগ p) এ প্লাগ করার শর্টকাট পক্ষপাতদুষ্ট। নমুনা তাপমাত্রা বিষয়. পাস@1 সাধারণত কম তাপমাত্রায় সেরা, যখন পাস@100 উচ্চ তাপমাত্রা থেকে উপকৃত হয় কারণ আরও বৈচিত্র্যময় নমুনাগুলি একটি কাজ করার সম্ভাবনা বাড়ায়। কাগজগুলি প্রায়শই প্রতিটি k-এর জন্য আলাদা তাপমাত্রা বেছে নেয়। এজেন্ট বেঞ্চমার্ক একটি পরিপূরক মেট্রিক যোগ করেছে। সিয়েরার টাউ-বেঞ্চ পেপার (2024) পাস^k সংজ্ঞায়িত করেছে, সম্ভাব্যতা যে সমস্ত k স্বাধীন পরীক্ষা সফল হয়েছে। এটি ক্ষমতার চেয়ে নির্ভরযোগ্যতা পরিমাপ করে। সাধারণ ভুল পাঠের মধ্যে রয়েছে একটি মডেলের pass@10-এর সাথে অন্যের pass@1-এর তুলনা করা, ভুলে যাওয়া যে pass@k অনুমান করে যে কিছু ইতিমধ্যেই জানে কোন নমুনাটি সঠিক, এবং লোভী-ডিকোডিং pass@1 কে নমুনা পাস@1 এর সাথে অভিন্ন হিসাবে বিবেচনা করা। দুর্বল ইউনিট পরীক্ষা প্রতিটি pass@k নম্বরকে স্ফীত করে, যে কারণে EvalPlus HumanEval-এ আরও অনেক পরীক্ষা যোগ করেছে এবং স্কোর হ্রাস পেয়েছে।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি দল HumanEval নমুনা প্রতি সমস্যা 200 সমাপ্তির একটি কোড মডেল মূল্যায়ন করে, কতজন পরীক্ষায় পাস করেছে তা গণনা করে এবং নিরপেক্ষ অনুমানকারী ব্যবহার করে সেই এক সেট নমুনা থেকে পাস@1, পাস@10 এবং পাস@100 রিপোর্ট করে।

একটি সম্পাদক স্বয়ংসম্পূর্ণ যা একটি প্রস্তাবনা দেখায় pass@1 দ্বারা বিচার করা উচিত, যখন একটি টুল যা পাঁচজন প্রার্থী তৈরি করে এবং একজন কর্মক্ষমকে বেছে নেওয়ার জন্য আপনার পরীক্ষা স্যুট চালায় সেটি পাস@5 পরিস্থিতির কাছাকাছি।

একজন গ্রাহক-সমর্থন এজেন্ট যেটি 75 শতাংশ ট্রায়ালে সফল হয় pass@k-এ শক্তিশালী দেখায়, কিন্তু যদি ট্রায়ালগুলি স্বাধীন হয় তবে তার পাস^4 স্কোর (চারটি ট্রায়ালই সফল হয়েছে) প্রায় 0.32, যা দেখায় যে বারবার ব্যবহারে এটি কতটা অবিশ্বস্ত মনে হবে।

একটি প্রতিযোগিতামূলক প্রোগ্রামিং সিস্টেম অনেক প্রার্থীর প্রোগ্রাম তৈরি করে, উদাহরণ পরীক্ষার বিপরীতে ফিল্টার করে এবং অল্প সংখ্যক জমা দেয়; এর রিপোর্ট করা সমাধানের হার নির্ভর করে কতগুলি জমা দেওয়ার অনুমতি দেওয়া হয়েছিল, যা একটি pass@k-স্টাইল বাজেট।

Pass@k মেট্রিকের ভবিষ্যত ব্যাখ্যা করা হয়েছে

যেহেতু মডেলগুলি একক পূর্ণতা থেকে বহু-পদক্ষেপ এজেন্টে চলে যায়, পাস^k এবং রান-টু-রান সামঞ্জস্যের মতো নির্ভরযোগ্যতা পরিমাপগুলি pass@k-এর পাশাপাশি আরও বেশি মনোযোগ পাচ্ছে, কারণ ব্যবহারকারীরা একটি প্রচেষ্টার অভিজ্ঞতা লাভ করে, অনেকের মধ্যে সেরা নয়। বেঞ্চমার্ক লেখকরাও শক্তিশালী টেস্ট স্যুটগুলিতে বিনিয়োগ করছেন, যেহেতু দুর্বল পরীক্ষাগুলি ভুল কোড পাস করতে দেয় এবং প্রতিটি মেট্রিক স্ফীত করে। যত্নশীল প্রতিবেদনে k, নমুনা গণনা, তাপমাত্রা এবং কোনো নির্বাচনের ধাপ ব্যবহার করা হয়েছে কিনা তা উল্লেখ করা উচিত, তবে অনুশীলন পরিবর্তিত হয়, তাই পাঠকদের অনুমান করার পরিবর্তে সেই বিবরণগুলি পরীক্ষা করা উচিত।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Pass@k Metric Explained quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

Pass@k মেট্রিক কি ব্যাখ্যা করা হয়?

Pass@k হল সম্ভাব্যতা যে একটি মডেল থেকে k নমুনাযুক্ত প্রচেষ্টার মধ্যে অন্তত একটি সমস্যা সমাধান করে, সাধারণত জেনারেট করা কোডে লুকানো ইউনিট পরীক্ষা চালিয়ে পরীক্ষা করা হয়। এটি গুরুত্বপূর্ণ কারণ কোড এবং এজেন্ট বেঞ্চমার্কগুলি এটি ক্রমাগত রিপোর্ট করে, এবং একটি পাস@10 বা পাস@100 স্কোর একজন ব্যবহারকারী একবার চেষ্টা করে যা পায় তার চেয়ে অনেক ভাল দেখতে পারে।

একটি একক সমস্যার জন্য pass@k কি পরিমাপ করে?

Pass@k হল অন্তত একটি k প্রচেষ্টা সফল হওয়ার সুযোগ। বেঞ্চমার্ক স্কোর গড় করে যে সম্ভাব্যতা সব সমস্যার উপর।

HumanEval, Codex কাগজের সাথে প্রবর্তিত বেঞ্চমার্কে কী রয়েছে?

HumanEval-এর 164টি হাতে লেখা Python সমস্যা রয়েছে, প্রতিটি লুকানো ইউনিট পরীক্ষা দ্বারা পরীক্ষা করা হয়।

কেন Codex কাগজটি k এর চেয়ে বড় n সহ n নমুনা তৈরি করে?

ঠিক k নমুনা তৈরি করা একটি গোলমাল অনুমান দেয়। n নমুনা ব্যবহার করে এবং c সঠিকগুলি গণনা করা অনেক কম বৈচিত্র সহ একটি নিরপেক্ষ অনুমানের অনুমতি দেয়।

n নমুনা এবং c সঠিক সহ, কোন অভিব্যক্তিটি নিরপেক্ষ pass@k অনুমানকারী?

একটি এলোমেলো k-সাবসেটে শুধুমাত্র ভুল নমুনা থাকা সম্ভাবনার একটি বিয়োগ। C(c, k)/C(n, k) হল পাস^k অনুমানকারী, এবং পাওয়ার-কে শর্টকাট পক্ষপাতদুষ্ট।

টাউ-বেঞ্চ পেপারে সংজ্ঞায়িত পাস^কে কি পরিমাপ করে?

Pass^k সফল হওয়ার জন্য প্রতিটি ট্রায়ালের প্রয়োজন, তাই এটি নির্ভরযোগ্যতা পরিমাপ করে, যা অনেক ব্যবহারকারীকে পরিবেশনকারী এজেন্টদের জন্য গুরুত্বপূর্ণ।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →