তাপমাত্রা এবং নমুনা
তাপমাত্রা এবং নমুনা হল সেই ডায়াল যা নিয়ন্ত্রণ করে ভাষা মডেলের শব্দচয়ন কতটা 'এলোমেলো' বা 'নিরাপদ'।
ওভারভিউ
They decide whether you get the same predictable answer every time or fresh, varied phrasing.
গভীর ডুব
প্রতিটি ধাপে, একটি ভাষা মডেল সরাসরি একটি শব্দ আউটপুট করে না - এটি তার শব্দভান্ডারে প্রতিটি টোকেনের জন্য একটি স্কোর (একটি 'লগিট') তৈরি করে, যা সফটম্যাক্স একটি সম্ভাব্যতা বিতরণে পরিণত হয়। স্যাম্পলিং হল সেই ডিস্ট্রিবিউশন থেকে কীভাবে পরবর্তী টোকেন বেছে নেওয়া হয়। তাপমাত্রা নির্বাচন করার আগে বন্টনকে নতুন আকার দেয়: নিম্ন তাপমাত্রা শীর্ষ পছন্দগুলিকে প্রাধান্য দেয়, তাই আউটপুট ফোকাসড এবং পুনরাবৃত্তিযোগ্য হয়; উচ্চ তাপমাত্রা এটিকে সমতল করে, অসম্ভাব্য টোকেনগুলি আরও বৈচিত্র্যের (এবং আরও ত্রুটি) জন্য স্লিপ করে। দুটি জনপ্রিয় ফিল্টার প্রথমে পুলটিকে সংকীর্ণ করে। Top-k শুধুমাত্র k সর্বোচ্চ-সম্ভাব্যতা টোকেন রাখে। টপ-পি, বা নিউক্লিয়াস স্যাম্পলিং, টোকেনগুলির ক্ষুদ্রতম সেট রাখে যার সম্ভাব্যতাগুলি p পর্যন্ত যোগ করে (বলুন 0.9), তাই পুলটি যখন মডেলটি অনিশ্চিত হয় তখন বৃদ্ধি পায় এবং যখন এটি আত্মবিশ্বাসী হয় তখন সঙ্কুচিত হয়। একসাথে এই সেটিংস সৃজনশীলতার বিরুদ্ধে নির্ভরযোগ্যতা বন্ধ করে দেয়।
প্রযুক্তিগত অন্তর্দৃষ্টি
softmax এর আগে প্রতিটি লগিটকে T দ্বারা ভাগ করে তাপমাত্রা কাজ করে: সম্ভাব্যতা exp(logit/T) এর সমানুপাতিক। 1 এর নিচে T ফাঁকগুলোকে তীক্ষ্ণ করে যাতে শীর্ষ টোকেন প্রাধান্য পায়; 1-এর উপরে T ফাঁকগুলিকে সঙ্কুচিত করে এবং বিতরণকে সমতল করে। 0-এর কাছাকাছি T-এ মডেলটি কার্যকরভাবে লোভী হয়ে ওঠে, সর্বদা একক সম্ভাব্য টোকেন গ্রহণ করে। Top-k একটি নির্দিষ্ট সংখ্যায় প্রার্থীর গণনা ক্যাপ করে, যখন top-p একটি ক্রমবর্ধমান-সম্ভাব্যতা কাটঅফ সেট করে, তাই এর প্রার্থী গণনা সেই ধাপে মডেলটি কতটা আত্মবিশ্বাসী তার সাথে খাপ খায়।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
তাপমাত্রা এবং নমুনার ভবিষ্যত
এই নিয়ন্ত্রণগুলি স্থিতিশীল এবং ভালভাবে বোঝা যায়, তাই ক্রিয়াটি আরও স্মার্ট ডিফল্ট এবং নতুন রূপের মধ্যে রয়েছে৷ আরও অভিযোজিত স্কিম প্রত্যাশা করুন যেমন min-p (যা কাটঅফকে শীর্ষ টোকেনের সম্ভাব্যতা পর্যন্ত স্কেল করে) এবং গতিশীল তাপমাত্রা যা মধ্য-প্রজন্মের পরিবর্তন করে। টুলিং প্রতি টাস্ক ক্রমবর্ধমান স্বতঃ-পিক সেটিংস করবে — কোড এবং নিষ্কাশনের জন্য কম, বুদ্ধিমত্তার জন্য বেশি — যাতে ব্যবহারকারীরা হাত দিয়ে টিউন করবেন না। মূল ধারণাটি স্থায়ী হয়: নমুনা হল নির্ধারক নির্ভুলতা এবং সৃজনশীল বৈচিত্র্যের মধ্যে সহজ, শক্তিশালী গাঁট।
বাস্তব-বিশ্ব বাস্তবায়ন
কোড জেনারেশন বা ডেটা এক্সট্রাকশনের জন্য 0 এর কাছাকাছি তাপমাত্রা সেট করা, যেখানে আপনি প্রতিবার একই সঠিক উত্তর চান
বিভিন্ন বিকল্প পেতে নাম, স্লোগান বা গল্পের ধারণার জন্য তাপমাত্রা প্রায় ০.৮-১.০ এ উন্নীত করা
0.9 এর কাছাকাছি টপ-পি ব্যবহার করে তাই মডেলটি শুধুমাত্র সবচেয়ে যুক্তিযুক্ত শব্দ থেকে নমুনা নেয় এবং উদ্ভট টোকেন এড়িয়ে যায়
প্রার্থীদের ক্যাপ করতে টপ-কে প্রয়োগ করা এবং গ্রাহক-মুখী উত্তরে বিরল, বিষয়বহির্ভূত শব্দগুলি উপস্থিত হওয়া থেকে বিরত রাখা
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Temperature and Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
নিউক্লিয়াস এবং টপ-কে স্যাম্পলিং
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Temperature and Sampling?
তাপমাত্রা এবং নমুনা হল সেই ডায়াল যা নিয়ন্ত্রণ করে ভাষা মডেলের শব্দচয়ন কতটা 'এলোমেলো' বা 'নিরাপদ'। তারা সিদ্ধান্ত নেয় যে আপনি প্রতিবার একই অনুমানযোগ্য উত্তর পাবেন নাকি তাজা, বিভিন্ন বাক্যাংশ।
তাপমাত্রা বাড়ানো একটি মডেলের আউটপুটে কী করে?
উচ্চ তাপমাত্রা সম্ভাব্যতা বন্টনকে সমতল করে, তাই কম-সম্ভাব্য টোকেনগুলি প্রায়শই বাছাই করা হয়, আরও বৈচিত্র্যময় (এবং ঝুঁকিপূর্ণ) আউটপুট তৈরি করে।
টপ-পি (নিউক্লিয়াস) স্যাম্পলিং টপ-কে স্যাম্পলিং থেকে কীভাবে আলাদা?
Top-p ক্রমবর্ধমান সম্ভাব্যতার দ্বারা সেট করা প্রার্থীকে অভিযোজিত করে, যখন top-k সর্বদা একটি নির্দিষ্ট সংখ্যক শীর্ষ টোকেন রাখে।
যান্ত্রিকভাবে, তাপমাত্রা আসলে লগিটগুলিতে কী করে?
সফ্টম্যাক্সের আগে তাপমাত্রা প্রতিটি লগিটকে T দ্বারা ভাগ করে; 1 এর নিচে T বিতরণকে তীক্ষ্ণ করে, 1 এর উপরে T এটিকে সমতল করে।
কোড তৈরি করা বা স্ট্রাকচার্ড ডেটা বের করার জন্য, কোন সেটিং সাধারণত সেরা?
সঠিকতা এবং পুনরাবৃত্তিযোগ্যতা প্রয়োজন এমন কাজগুলি খুব কম তাপমাত্রা ব্যবহার করে যাতে মডেলটি নির্ভরযোগ্যভাবে সবচেয়ে সম্ভাব্য, সঠিক টোকেন বেছে নেয়।
কার্যকরভাবে 0 তাপমাত্রায় কী ঘটে?
শূন্য তাপমাত্রার কাছাকাছি, বিতরণ এতই তীক্ষ্ণ যে সর্বোচ্চ-সম্ভাব্যতা টোকেন সর্বদা বেছে নেওয়া হয় — লোভী ডিকোডিং।