ServiceNow এবং StarCoder
StarCoder হল কোডের জন্য একটি উন্মুক্ত বৃহৎ ভাষার মডেল, বিগকোড প্রকল্পের মাধ্যমে ServiceNow রিসার্চ এবং Hugging Face দ্বারা নির্মিত।
ওভারভিউ
It matters because it brought a permissively licensed, transparently trained coding assistant to a field dominated by closed models.
গভীর ডুব
StarCoder হল কোড-জেনারেশন মডেলের একটি পরিবার যা 2023 সালের মে মাসে BigCode, ServiceNow রিসার্চ এবং Hugging Face-এর সহ-নেতৃত্বাধীন একটি সহযোগিতা দ্বারা প্রকাশিত হয়েছে। ফ্ল্যাগশিপ StarCoderBase হল একটি 15.5-বিলিয়ন-প্যারামিটার মডেল যা প্রায় এক ট্রিলিয়ন টোকেনের উপর প্রশিক্ষিত দ্য স্ট্যাক থেকে, 80 টিরও বেশি প্রোগ্রামিং ভাষাতে বিস্তৃত অনুমতিপ্রাপ্ত লাইসেন্সকৃত সোর্স কোডের একটি বড় ডেটাসেট। একটি প্রধান স্বতন্ত্র বৈশিষ্ট্য হল এর 8,000-টোকেন প্রসঙ্গ উইন্ডো এবং ফিল-ইন-দ্য-মিডল ট্রেনিং, এটি শুধুমাত্র সামনের ভবিষ্যদ্বাণী না করে পূর্ববর্তী এবং পরবর্তী উভয় লাইনে দেওয়া কোড সম্পূর্ণ করতে দেয়। BigCode ডেটা শাসনের উপর জোর দিয়েছে: এটি প্রশিক্ষণের ডেটা প্রকাশ করেছে, বিকাশকারীদের জন্য একটি অপ্ট-আউট টুল অফার করেছে এবং দায়ী OpenRAIL-M লাইসেন্সের অধীনে মডেলটি প্রকাশ করেছে। StarCoder2, 2024 সালে প্রকাশিত, 600 টিরও বেশি ভাষায় কভারেজ প্রসারিত করেছে।
প্রযুক্তিগত অন্তর্দৃষ্টি
স্টারকোডার মাল্টি-কোয়েরি মনোযোগ সহ একটি ডিকোডার-অনলি ট্রান্সফরমার ব্যবহার করে, যা মেমরির ব্যবহারকে সঙ্কুচিত করতে এবং দীর্ঘ প্রসঙ্গ দৈর্ঘ্যে অনুমানের গতি বাড়াতে মনোযোগের মাথা জুড়ে কী এবং মূল্য অনুমান শেয়ার করে। এটিকে ফিল-ইন-দ্য-মিডল দিয়ে প্রশিক্ষিত করা হয়েছিল, যেখানে নথিগুলি এলোমেলোভাবে বিভক্ত এবং পুনরায় সাজানো হয় যাতে মডেলটি আশেপাশের কোডের উপর শর্তযুক্ত একটি অনুপস্থিত স্প্যান তৈরি করতে শেখে। এটি এটিকে আইডিই স্বয়ংসম্পূর্ণতার জন্য উপযুক্ত করে তোলে, যেখানে কার্সারের উভয় পাশে প্রসঙ্গ বিদ্যমান।
কৌশলগত প্রভাব
বিক্রেতার কৌশল
বিক্রেতা রোডম্যাপ আপনার দল পরবর্তীতে কী কী বৈশিষ্ট্য তৈরি করতে পারে তা প্রভাবিত করে।
খরচ ও বাজেট
বাণিজ্যিক শর্তাবলী এবং স্থাপনার বিকল্পগুলি দীর্ঘমেয়াদী খরচ এবং ঝুঁকিকে প্রভাবিত করে।
ঝুঁকি এবং নিরাপত্তা
কোম্পানির প্রণোদনা পণ্যের ডিফল্ট, নিরাপত্তা ভঙ্গি এবং উন্মুক্ততাকে আকার দেয়।
ServiceNow এবং StarCoder এর ভবিষ্যত
কোড মডেলগুলি এজেন্টিক ওয়ার্কফ্লোগুলির দিকে অগ্রসর হচ্ছে যেখানে তারা শুধুমাত্র স্বয়ংসম্পূর্ণ নয় বরং পরিকল্পনা করে, পরীক্ষা চালায় এবং তাদের নিজস্ব আউটপুট ঠিক করে। StarCoder2, সফ্টওয়্যার হেরিটেজ সহ নির্মিত বৃহত্তর স্ট্যাক v2 ডেটাসেটে প্রশিক্ষিত, বৃহত্তর ভাষা কভারেজ এবং আরও ভাল ডেটা উদ্ভবের দিকে নির্দেশ করে। স্বচ্ছ প্রশিক্ষণ ডেটা, অপ্ট-আউট মেকানিজম এবং লাইসেন্সিং স্বচ্ছতার উপর ক্রমাগত জোর আশা করুন যেহেতু কোড-প্রশিক্ষিত মডেলগুলির আইনি যাচাই বাড়বে, পাশাপাশি এন্টারপ্রাইজ ডেভেলপার প্ল্যাটফর্মগুলিতে আরও কঠোর সংহতকরণ।
বাস্তব-বিশ্ব বাস্তবায়ন
IDE প্লাগইন এবং এডিটর এক্সটেনশনের মধ্যে স্বয়ংসম্পূর্ণ এবং কোড-সমাপ্তির পরামর্শগুলিকে শক্তিশালী করা
একটি প্রাকৃতিক-ভাষা মন্তব্য থেকে বয়লারপ্লেট ফাংশন, ইউনিট পরীক্ষা এবং ডকস্ট্রিং তৈরি করা
একটি এন্টারপ্রাইজ কোডবেসের মধ্যে প্রোগ্রামিং ভাষার মধ্যে কোড অনুবাদ বা রিফ্যাক্টরিং
যে সংস্থাগুলি বন্ধ ক্লাউড APIগুলিতে মালিকানা কোড পাঠাতে পারে না তাদের জন্য একটি স্ব-হোস্টেবল কোডিং সহকারী হিসাবে পরিবেশন করা
ঝুঁকি এবং প্রহরী
লঞ্চ ঘোষণা বাস্তব উত্পাদন কর্মপ্রবাহ মধ্যে স্থিতিশীলতা ছাড়িয়ে যেতে পারে.
API মূল্য নির্ধারণ বা নীতি পরিবর্তন রাতারাতি অনুমান ভঙ্গ করতে পারে।
একক-বিক্রেতা নির্ভরতা লক-ইন এবং মাইগ্রেশন খরচ বাড়ায়।
বাস্তবায়ন রোডম্যাপ
আপনার নিজের কাজ এবং ডেটাসেট ব্যবহার করে প্রদানকারীদের মূল্যায়ন করুন।
একীকরণের আগে গোপনীয়তা, নিরাপত্তা এবং আইনি শর্তাবলী পর্যালোচনা করুন।
মডেল বা বিক্রেতা জুড়ে একটি ফলব্যাক পরিকল্পনা বজায় রাখুন।
রিলিজ নোটগুলি মনিটর করুন যাতে রোডম্যাপ পরিবর্তন দলগুলিকে অবাক না করে।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ServiceNow and StarCoder quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
LAION এবং ওপেন ডেটাসেট
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is ServiceNow and StarCoder?
StarCoder হল কোডের জন্য একটি উন্মুক্ত বৃহৎ ভাষার মডেল, বিগকোড প্রকল্পের মাধ্যমে ServiceNow রিসার্চ এবং Hugging Face দ্বারা নির্মিত। এটি গুরুত্বপূর্ণ কারণ এটি একটি অনুমতিমূলকভাবে লাইসেন্সপ্রাপ্ত, স্বচ্ছভাবে প্রশিক্ষিত কোডিং সহকারীকে একটি বন্ধ মডেল দ্বারা প্রভাবিত একটি ক্ষেত্রে এনেছে৷
কোন দুটি সংস্থা বিগকোড প্রকল্পের সহ-নেতৃত্বাধীন যা স্টারকোডার তৈরি করেছিল?
বিগকোড ছিল সার্ভিসনাউ রিসার্চ এবং হাগিং ফেস-এর সহ-নেতৃত্বে উন্মুক্ত, দায়িত্বশীলভাবে উন্নত কোড মডেল তৈরি করার জন্য একটি সহযোগী প্রচেষ্টা।
স্টারকোডারকে প্রশিক্ষন দেওয়ার জন্য অনুমোদিতভাবে লাইসেন্সকৃত সোর্স কোডের ডেটাসেটের নাম কী?
স্টারকোডারকে দ্য স্ট্যাক-এ প্রশিক্ষিত করা হয়েছিল, 80টিরও বেশি ভাষায় অনুমতিপ্রাপ্ত লাইসেন্সকৃত কোডের একটি বড় সংস্থা।
কোন প্রশিক্ষণ কৌশলটি স্টারকোডারকে কার্সারের উভয় পাশে প্রসঙ্গ ব্যবহার করে সম্পূর্ণ কোড করতে দেয়?
ফিল-ইন-দ্য-মিডল ট্রেনিং ডকুমেন্টগুলিকে পুনরায় সাজায় যাতে মডেলটি পূর্ববর্তী এবং পরবর্তী প্রেক্ষাপটে অনুপস্থিত স্প্যান তৈরি করতে শেখে।
ফ্ল্যাগশিপ StarCoderBase মডেলটি মোটামুটি কত বড়?
StarCoderBase-এর প্রায় 15.5 বিলিয়ন প্যারামিটার রয়েছে, ফ্রন্টিয়ার স্ট্যান্ডার্ড অনুসারে পরিমিত কিন্তু কোড টাস্কে এর আকারের জন্য শক্তিশালী।
মেমরি কমাতে এবং অনুমানের গতি বাড়াতে স্টারকোডার কোন মনোযোগ অপ্টিমাইজেশান ব্যবহার করে?
স্টারকোডার বহু-কোয়েরি মনোযোগ ব্যবহার করে, মেমরি কাটাতে এবং দীর্ঘ-প্রসঙ্গ অনুমানকে ত্বরান্বিত করতে মাথা জুড়ে কী এবং মান অনুমানগুলি ভাগ করে।