ওভারভিউ
Skeleton-of-Thought (SoT) হল একটি প্রম্পটিং এবং ডিকোডিং কৌশল যা প্রথমে একটি ভাষা মডেলকে উত্তর পয়েন্টগুলির একটি সংক্ষিপ্ত কঙ্কালের রূপরেখা দিতে বলে, তারপর সমান্তরালভাবে প্রতিটি বিন্দুকে প্রসারিত করে। এটি গুরুত্বপূর্ণ কারণ এটি মডেলটিকে পুনরায় প্রশিক্ষণ না দিয়ে প্রায় 2x দীর্ঘ উত্তরগুলির প্রাচীর-ঘড়ির লেটেন্সি কাটতে পারে৷
Skeleton-of-Thought সমান্তরাল ডিকোডিং হল ভাষা-এআই স্ট্যাকের অংশ যা পাঠ্য এবং বক্তৃতা পাঠ, তৈরি, শ্রেণীবিভাগ এবং রূপান্তর করতে ব্যবহৃত হয়।
গভীর ডুব
বড় ভাষার মডেলগুলি সাধারণত একবারে একটি টোকেন তৈরি করে, তাই একটি দীর্ঘ উত্তর ধীর হয় কারণ প্রতিটি শব্দ তার আগে একটির জন্য অপেক্ষা করে। Skeleton-of-Thought, 2023 সালে Tsinghua এবং Microsoft এর গবেষকদের দ্বারা প্রবর্তিত, কাজটিকে পুনর্গঠন করে। একটি প্রথম কল মডেলটিকে একটি স্থির কঙ্কালের জন্য জিজ্ঞাসা করে: 3 থেকে 10 পয়েন্ট শিরোনামের একটি সংখ্যাযুক্ত তালিকা, প্রতিটি মাত্র কয়েকটি শব্দ। কলগুলির একটি দ্বিতীয় ব্যাচ তারপর প্রতিটি পয়েন্টকে স্বাধীনভাবে এবং একই সাথে প্রসারিত করে, কারণ পয়েন্টগুলি একে অপরের উপর নির্ভর করে না। সম্প্রসারণগুলি চূড়ান্ত উত্তরে একসাথে সেলাই করা হয়। যেহেতু ধীর সম্প্রসারণ পর্যায় সমান্তরালভাবে চলে, মোট লেটেন্সি এমন প্রশ্নগুলির জন্য তীব্রভাবে হ্রাস পায় যার উত্তরগুলি স্বাভাবিকভাবে স্বাধীন অংশে বিভক্ত হয়ে যায়, যেমন তালিকার টিপস বা তুলনা বিকল্পগুলি।
প্রযুক্তিগত অন্তর্দৃষ্টি
SoT শোষণ করে যে ডিকোডার অনুমান লেটেন্সি-বাউন্ড, সবসময় কম্পিউট-বাউন্ড নয়: একটি একক অনুরোধ প্রায়ই জিপিইউকে কম ব্যবহার করে ফেলে। একটি ব্যাচ হিসাবে চলমান পয়েন্ট সম্প্রসারণ হার্ডওয়্যারকে ব্যস্ত রাখে এবং প্রতি-পয়েন্ট প্রজন্মকে ওভারল্যাপ করে। এপিআই মডেলগুলির সাথে, সম্প্রসারণগুলি সমকালীন অনুরোধ হিসাবে জারি করা হয়; স্থানীয় মডেলের সাথে, তারা একটি ব্যাচড ফরওয়ার্ড পাস ভাগ করে নেয়। কঙ্কাল পর্যায় একটি নির্দিষ্ট সংক্ষিপ্ত ওভারহেড যোগ করে, তাই নেট স্পিডআপ উত্তরের দৈর্ঘ্য এবং স্বাধীন বিন্দুর সংখ্যার সাথে বৃদ্ধি পায়।
কঙ্কাল-অফ-থট সমান্তরাল ডিকোডিং আয়ত্ত করা
Skeleton-of-Thought (SoT) হল একটি প্রম্পটিং এবং ডিকোডিং কৌশল যা প্রথমে একটি ভাষা মডেলকে উত্তর পয়েন্টগুলির একটি সংক্ষিপ্ত কঙ্কালের রূপরেখা দিতে বলে, তারপর সমান্তরালভাবে প্রতিটি বিন্দুকে প্রসারিত করে। এটি গুরুত্বপূর্ণ কারণ এটি মডেলটিকে পুনরায় প্রশিক্ষণ না দিয়ে প্রায় 2x দীর্ঘ উত্তরগুলির প্রাচীর-ঘড়ির লেটেন্সি কাটতে পারে৷ Skeleton-of-Thought সমান্তরাল ডিকোডিং হল ভাষা-এআই স্ট্যাকের অংশ যা পাঠ্য এবং বক্তৃতা পাঠ, তৈরি, শ্রেণীবিভাগ এবং রূপান্তর করতে ব্যবহৃত হয়। গভীর বোঝাপড়া তৈরি করতে, স্কেলেটন-অফ-থট প্যারালাল ডিকোডিংকে একটি অপারেটিং মডেল হিসাবে বিবেচনা করুন, একটি একক বৈশিষ্ট্য নয়: পছন্দসই ফলাফলগুলি সংজ্ঞায়িত করুন, অনুমানগুলি স্পষ্ট করুন এবং সিস্টেমটি নির্ভরযোগ্যভাবে কী করতে পারে তা এখনও বিশেষজ্ঞের বিচারের প্রয়োজন থেকে আলাদা করুন৷
অনুশীলনে, কঙ্কাল-অফ-থট প্যারালাল ডিকোডিং ডিজাইন ব্যবহার করে শক্তিশালী দলগুলি একটি সমন্বিত যোগাযোগ ব্যবস্থা হিসাবে লুপগুলি পুনরুদ্ধার, এবং পর্যালোচনা করে। তারা সুস্পষ্ট সাফল্যের মাপকাঠি নথিভুক্ত করে, বাস্তবসম্মত ডেটা এবং কর্মপ্রবাহের বিরুদ্ধে পরীক্ষা করে এবং এককালীন বেঞ্চমার্ক জয়ের পরিবর্তে পর্যবেক্ষিত ব্যর্থতার ধরণগুলির উপর ভিত্তি করে পুনরাবৃত্তি করে। এখানেই তাত্ত্বিক বোঝাপড়া পণ্য, নীতি এবং অপারেশন জুড়ে টেকসই সক্ষমতায় পরিণত হয়।
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে। একই সময়ে, হ্যালুসিনেটেড ফ্যাক্টগুলি নিঃশব্দে রিপোর্ট, সমর্থন প্রবাহ বা গবেষণা আউটপুট প্রবেশ করতে পারে। সবচেয়ে স্থিতিস্থাপক পদ্ধতি হল প্রশাসনিক শৃঙ্খলার সাথে পরীক্ষার গতিকে একত্রিত করা: পাইলট চালান, প্রমাণ ক্যাপচার করুন, সিদ্ধান্তের লগ প্রকাশ করুন এবং মডেল আচরণ, ব্যবহারকারীর প্রত্যাশা এবং নিয়ন্ত্রক প্রয়োজনীয়তাগুলি বিকশিত হওয়ার সাথে সাথে অবিচ্ছিন্ন সুরক্ষাগুলি আপডেট করুন।
কৌশলগত প্রভাব
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি চ্যাটবটকে ত্বরান্বিত করা যা 'ক্লাউড খরচ কমানোর জন্য আমাকে 8 টি টিপস দাও' উত্তর দেয় সমস্ত আটটি টিপস একবারে প্রসারিত করে৷
একটি গ্রাহক-সমর্থন সহকারী নিম্ন প্রতিক্রিয়া বিলম্ব সহ একটি কাঠামোগত বহু-বিভাগের সমস্যা সমাধানের নির্দেশিকা তৈরি করে৷
একটি তুলনামূলক উত্তর তৈরি করা (দুটি পণ্যের সুবিধা এবং অসুবিধা) যেখানে প্রতিটি বুলেট একই সাথে পূর্ণ হয়।
ব্যাকএন্ড সার্ভিং সিস্টেমগুলি দীর্ঘ-ফর্ম জেনারেশনের সময় GPU ব্যবহার বাড়াতে স্বাধীন উত্তর বিভাগগুলি ব্যাচ করে।
বাস্তবায়ন নিদর্শন
অনুশীলনে কঙ্কাল-অফ-থট সমান্তরাল ডিকোডিং
একটি চ্যাটবটকে ত্বরান্বিত করা যা 'ক্লাউড খরচ কমানোর জন্য আমাকে 8 টি টিপস দাও' উত্তর দেয় সমস্ত আটটি টিপস একবারে প্রসারিত করে৷
একটি চ্যাটবটকে ত্বরান্বিত করা যা 'আমাকে ক্লাউড খরচ কমানোর জন্য 8 টি টিপস দাও' উত্তর দেয় একবারে আটটি টিপস প্রসারিত করে দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে কঙ্কাল-অফ-থট সমান্তরাল ডিকোডিং
একটি গ্রাহক-সমর্থন সহকারী নিম্ন প্রতিক্রিয়া বিলম্ব সহ একটি কাঠামোগত বহু-বিভাগের সমস্যা সমাধানের নির্দেশিকা তৈরি করে৷
একটি গ্রাহক-সমর্থন সহকারী একটি কাঠামোগত মাল্টি-সেকশন ট্রাবলশুটিং গাইড তৈরি করে নিম্ন প্রতিক্রিয়া লেটেন্সি সহ দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে কঙ্কাল-অফ-থট সমান্তরাল ডিকোডিং
একটি তুলনামূলক উত্তর তৈরি করা (দুটি পণ্যের সুবিধা এবং অসুবিধা) যেখানে প্রতিটি বুলেট একই সাথে পূর্ণ হয়।
একটি তুলনামূলক উত্তর তৈরি করা (দুটি পণ্যের সুবিধা এবং অসুবিধা) যেখানে প্রতিটি বুলেট একই সাথে পূরণ করা হয় দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে কঙ্কাল-অফ-থট সমান্তরাল ডিকোডিং
ব্যাকএন্ড সার্ভিং সিস্টেমগুলি দীর্ঘ-ফর্ম জেনারেশনের সময় GPU ব্যবহার বাড়াতে স্বাধীন উত্তর বিভাগগুলি ব্যাচ করে।
ব্যাকএন্ড সার্ভিং সিস্টেমগুলি দীর্ঘ-ফর্ম প্রজন্মের সময় GPU ব্যবহার বাড়াতে স্বতন্ত্র উত্তর বিভাগগুলি ব্যাচ করে দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।