বিগসায়েন্স এবং ব্লুম মডেল
বিগসায়েন্স ছিল 1,000 এরও বেশি গবেষকদের একটি বছরব্যাপী খোলা গবেষণা সহযোগিতা যা ব্লুম তৈরি করেছিল, যা প্রথম সত্যিকারের বহুভাষিক, প্রকাশ্যে প্রকাশিত বৃহৎ ভাষার মডেলগুলির মধ্যে একটি।
ওভারভিউ
It matters as a landmark in transparent, community-driven AI built outside Big Tech.
গভীর ডুব
BigScience ছিল 2021 থেকে 2022 পর্যন্ত চলমান একটি এক বছরের গবেষণা কর্মশালা, যা Hugging Face দ্বারা সমন্বিত এবং 60 টিরও বেশি দেশ এবং 250টি প্রতিষ্ঠানের 1,000 টিরও বেশি স্বেচ্ছাসেবক গবেষককে একত্রিত করে৷ এর শিরোনাম আউটপুট, জুলাই 2022 এ প্রকাশিত হয়েছিল, BLOOM ছিল, একটি 176-বিলিয়ন-প্যারামিটার অটোরিগ্রেসিভ ল্যাঙ্গুয়েজ মডেল। ব্লুম ইচ্ছাকৃতভাবে বহুভাষিক ছিল, 46টি প্রাকৃতিক ভাষা এবং 13টি প্রোগ্রামিং ভাষাকে কভার করে রুটস কর্পাসে প্রশিক্ষিত ছিল, যেখানে বেশ কয়েকটি আফ্রিকান এবং দক্ষিণ এশীয় ভাষার মতো উপস্থাপিত ভাষার শক্তিশালী উপস্থাপনা রয়েছে। প্রায় 384টি জিপিইউ ব্যবহার করে ফ্রান্সের পাবলিকলি ফান্ডেড জিন জে সুপার কম্পিউটারে কয়েক মাস ধরে প্রশিক্ষণ চলে। BLOOM এর ডেটা, প্রশিক্ষণ, এবং উদ্দিষ্ট ব্যবহারের সম্পূর্ণ ডকুমেন্টেশন সহ দায়িত্বশীল AI লাইসেন্সের অধীনে প্রকাশ করা হয়েছিল, তুলনামূলক মডেলগুলির বন্ধ বিকাশের সাথে তীব্রভাবে বৈপরীত্য।
প্রযুক্তিগত অন্তর্দৃষ্টি
BLOOM হল GPT-3 এর অনুরূপ স্কেলের একমাত্র ডিকোডার ট্রান্সফরমার, শেখা পজিশন ভেক্টরের পরিবর্তে ALiBi পজিশনাল এম্বেডিং ব্যবহার করে, যা প্রশিক্ষণে দেখা যাওয়ার চেয়ে দীর্ঘ ক্রমগুলিতে এক্সট্রাপোলেট করতে সাহায্য করে। এটি একটি এমবেডিং স্তর স্বাভাবিককরণও প্রয়োগ করে যা স্কেলে প্রশিক্ষণের স্থিতিশীলতা উন্নত করে। বহুভাষিক রুটস কর্পাস সাবধানে একত্রিত এবং নথিভুক্ত করা হয়েছিল যাতে ভাষার মিশ্রণ এবং ডেটা উত্সগুলি স্বচ্ছ এবং নিরীক্ষণযোগ্য ছিল, অস্বচ্ছ স্ক্র্যাপ করা ডেটাসেটগুলি থেকে একটি ইচ্ছাকৃত প্রস্থান।
কৌশলগত প্রভাব
বিক্রেতার কৌশল
বিক্রেতা রোডম্যাপ আপনার দল পরবর্তীতে কী কী বৈশিষ্ট্য তৈরি করতে পারে তা প্রভাবিত করে।
খরচ ও বাজেট
বাণিজ্যিক শর্তাবলী এবং স্থাপনার বিকল্পগুলি দীর্ঘমেয়াদী খরচ এবং ঝুঁকিকে প্রভাবিত করে।
ঝুঁকি এবং নিরাপত্তা
কোম্পানির প্রণোদনা পণ্যের ডিফল্ট, নিরাপত্তা ভঙ্গি এবং উন্মুক্ততাকে আকার দেয়।
বিগসায়েন্স এবং ব্লুম মডেলের ভবিষ্যত
বিগসায়েন্স দেখিয়েছে যে বৃহৎ আকারের, প্রকাশ্যে নিয়ন্ত্রিত AI সম্ভব, এবং এর মডেল পরবর্তীতে উন্মুক্ত প্রকাশ এবং স্বচ্ছতার জন্য বিস্তৃত চাপকে প্রভাবিত করেছে। ভবিষ্যত বহুভাষিক কাজ সম্ভবত ডেটা ডকুমেন্টেশন এবং ইনক্লুসিভ ল্যাঙ্গুয়েজ কভারেজের পাঠের উপর ভিত্তি করে তৈরি করবে, যখন নতুন, আরও দক্ষ মডেলগুলি কাঁচা সামর্থ্যের উপর ব্লুমকে ছাড়িয়ে গেছে। এর দীর্ঘস্থায়ী উত্তরাধিকার হল মডেল কার্ড, ডেটা স্টেটমেন্ট এবং দায়িত্বশীল লাইসেন্স প্রকাশ করার আদর্শ, এবং প্রমাণ যে পাবলিক কম্পিউট সীমান্ত-স্কেল মডেলগুলিকে প্রশিক্ষণ দিতে পারে।
বাস্তব-বিশ্ব বাস্তবায়ন
কয়েক ডজন ভাষা জুড়ে পাঠ্য তৈরি এবং সম্পূর্ণ করা, যার মধ্যে বাণিজ্যিক মডেলগুলির দ্বারা অনুপস্থিত
পক্ষপাত, বহুভাষিক স্থানান্তর এবং স্কেলিং আচরণ অধ্যয়নের জন্য একটি উন্মুক্ত গবেষণা বেসলাইন হিসাবে পরিবেশন করা
অ-ইংরেজি সম্প্রদায়ের জন্য ব্লুমজেড-এর মতো টাস্ক-নির্দিষ্ট বা নির্দেশ-অনুসরণকারী রূপগুলিতে সূক্ষ্ম-টিউনিং
প্রশিক্ষণ ডেটা প্রোভেন্যান্স এবং দায়ী এআই লাইসেন্সিং অধ্যয়নরত শিক্ষাবিদদের জন্য একটি সম্পূর্ণ নথিভুক্ত মডেল সরবরাহ করা
ঝুঁকি এবং প্রহরী
লঞ্চ ঘোষণা বাস্তব উত্পাদন কর্মপ্রবাহ মধ্যে স্থিতিশীলতা ছাড়িয়ে যেতে পারে.
API মূল্য নির্ধারণ বা নীতি পরিবর্তন রাতারাতি অনুমান ভঙ্গ করতে পারে।
একক-বিক্রেতা নির্ভরতা লক-ইন এবং মাইগ্রেশন খরচ বাড়ায়।
বাস্তবায়ন রোডম্যাপ
আপনার নিজের কাজ এবং ডেটাসেট ব্যবহার করে প্রদানকারীদের মূল্যায়ন করুন।
একীকরণের আগে গোপনীয়তা, নিরাপত্তা এবং আইনি শর্তাবলী পর্যালোচনা করুন।
মডেল বা বিক্রেতা জুড়ে একটি ফলব্যাক পরিকল্পনা বজায় রাখুন।
রিলিজ নোটগুলি মনিটর করুন যাতে রোডম্যাপ পরিবর্তন দলগুলিকে অবাক না করে।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BigScience and the BLOOM Model quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
ম্যাজিক এআই লং-কনটেক্সট কোড মডেল
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is BigScience and the BLOOM Model?
বিগসায়েন্স ছিল 1,000 এরও বেশি গবেষকদের একটি বছরব্যাপী খোলা গবেষণা সহযোগিতা যা ব্লুম তৈরি করেছিল, যা প্রথম সত্যিকারের বহুভাষিক, প্রকাশ্যে প্রকাশিত বৃহৎ ভাষার মডেলগুলির মধ্যে একটি। বিগ টেকের বাইরে নির্মিত স্বচ্ছ, সম্প্রদায়-চালিত AI-তে এটি একটি ল্যান্ডমার্ক হিসাবে গুরুত্বপূর্ণ।
তার সময়ের অনুরূপ আকারের মডেলের তুলনায় ব্লুম মডেলের প্রাথমিক স্বতন্ত্র লক্ষ্য কী ছিল?
ব্লুমকে সত্যিকারের বহুভাষিক হওয়ার জন্য ডিজাইন করা হয়েছিল এবং তুলনামূলক স্কেলের বন্ধ মডেলের বিপরীতে সম্পূর্ণ ডকুমেন্টেশন সহ প্রকাশ্যে প্রকাশ করা হয়েছিল।
BLOOM এর আনুমানিক কয়টি প্যারামিটার আছে?
BLOOM হল একটি 176-বিলিয়ন-প্যারামিটার মডেল, এটিকে GPT-3-এর অনুরূপ স্কেলে স্থাপন করা হয়েছে।
ব্লুম কতটি প্রাকৃতিক ভাষা পরিচালনা করতে প্রশিক্ষিত ছিল?
ব্লুমের রুটস ট্রেনিং কর্পাস 46টি প্রাকৃতিক ভাষা এবং 13টি প্রোগ্রামিং ভাষা কভার করে।
কোন সংস্থা BigScience সহযোগিতার সমন্বয় করেছে?
আলিঙ্গন মুখ সমন্বিত BigScience, 1,000 এরও বেশি স্বেচ্ছাসেবক গবেষকদের একটি কর্মশালা।
ব্লুম কোথায় প্রশিক্ষিত হয়েছিল?
ব্লুমকে ফ্রান্সের জিন জে সুপার কম্পিউটারে প্রশিক্ষিত করা হয়েছিল, এটি প্রদর্শন করে যে পাবলিক কম্পিউট একটি সীমান্ত-স্কেল মডেলকে প্রশিক্ষণ দিতে পারে।