EleutherAI
EleutherAI হল একটি তৃণমূল অলাভজনক গবেষণা সমষ্টি যেটি ওপেন-সোর্স বৃহৎ ভাষার মডেলের পথপ্রদর্শক যখন সীমান্ত AI কর্পোরেট দেয়ালের আড়ালে আটকে ছিল।
ওভারভিউ
It proved that a volunteer community could build and freely release models rivaling closed systems, reshaping who gets to participate in AI research.
গভীর ডুব
EleutherAI জুলাই 2020 সালে কনর লেহি, সিড ব্ল্যাক এবং লিও গাও দ্বারা সংগঠিত একটি ডিসকর্ড সম্প্রদায় হিসাবে শুরু হয়েছিল, মূলত OpenAI এর GPT-3 প্রতিলিপি করার লক্ষ্য ছিল। এই ধরনের মডেলগুলিকে প্রশিক্ষণ দেওয়ার জন্য, তারা প্রথমে দ্য পাইল তৈরি এবং প্রকাশ করে, একটি 825GB কিউরেটেড টেক্সট ডেটাসেট যা একটি আদর্শ ওপেন ট্রেনিং কর্পাস হয়ে ওঠে। তারপরে তারা তাদের সময়ের সবচেয়ে বড় খোলামেলা ভাষার মডেলগুলির মধ্যে GPT-Neo, GPT-J-6B এবং 20-বিলিয়ন-প্যারামিটার GPT-NeoX-20B প্রকাশ করে। GPT-NeoX ট্রেনিং লাইব্রেরি এবং LM ইভালুয়েশন হারনেস সহ তাদের সরঞ্জামগুলি বেঞ্চমার্কিংয়ের জন্য শিল্প-ব্যাপী ব্যবহৃত অন্যান্য অবকাঠামোতে পরিণত হয়েছে। 2023 সালে EleutherAI একটি অলাভজনক গবেষণা ইনস্টিটিউট হিসাবে আনুষ্ঠানিকভাবে রূপান্তরিত হয়েছে, ব্যাখ্যাযোগ্যতা, প্রান্তিককরণ এবং মডেলগুলি কীভাবে শেখে তার বিজ্ঞানে বিস্তৃত হয়েছে।
প্রযুক্তিগত অন্তর্দৃষ্টি
EleutherAI-এর মডেলগুলি ট্রান্সফরমার ডিকোডার আর্কিটেকচার ব্যবহার করে, কিন্তু GPT-J এবং GPT-NeoX টোকেন পজিশন এনকোডিং এবং গতি প্রশিক্ষণের জন্য সমান্তরাল মনোযোগ-প্লাস-ফিডফরওয়ার্ড স্তরগুলির জন্য রোটারি পজিশনাল এমবেডিংস (RoPE) এর মতো ব্যবহারিক ইঞ্জিনিয়ারিং পছন্দগুলি চালু করেছে। গুরুত্বপূর্ণভাবে, তারা Google-এর TPU রিসার্চ ক্লাউড এবং CoreWeave-এর মতো অংশীদারিত্বের মাধ্যমে দান করা TPUs এবং GPU-এর উপর প্রশিক্ষণ দিয়েছে, যা দেখায় যে বিতরণ করা, স্পনসর-অর্থায়নকৃত গণনা যখন ওপেন কোডের সাথে যুক্ত করা হয় তখন একটি কর্পোরেট ডেটাসেন্টারের বিকল্প হতে পারে।
কৌশলগত প্রভাব
বিক্রেতার কৌশল
বিক্রেতা রোডম্যাপ আপনার দল পরবর্তীতে কী কী বৈশিষ্ট্য তৈরি করতে পারে তা প্রভাবিত করে।
খরচ ও বাজেট
বাণিজ্যিক শর্তাবলী এবং স্থাপনার বিকল্পগুলি দীর্ঘমেয়াদী খরচ এবং ঝুঁকিকে প্রভাবিত করে।
ঝুঁকি এবং নিরাপত্তা
কোম্পানির প্রণোদনা পণ্যের ডিফল্ট, নিরাপত্তা ভঙ্গি এবং উন্মুক্ততাকে আকার দেয়।
EleutherAI এর ভবিষ্যত
EleutherAI একটি বিশুদ্ধ মডেল-স্কেলিং রেস থেকে ব্যাখ্যাযোগ্যতা, প্রশিক্ষণ-ডেটা স্বচ্ছতা এবং কঠোর মূল্যায়নের দিকে স্থানান্তরিত হচ্ছে, যেখানে মুক্ত বিজ্ঞান সবচেয়ে বেশি প্রয়োজন। মডেলগুলি অভ্যন্তরীণভাবে কী প্রতিনিধিত্ব করে তা বোঝার জন্য, ভাল-ডকুমেন্টেড ডেটাসেটগুলি প্রকাশ করা এবং স্বাধীন সুরক্ষা গবেষণাকে সমর্থন করার জন্য অবিরত কাজ আশা করুন। যেহেতু ফ্রন্টিয়ার ল্যাবগুলি আরও গোপনীয় হয়ে উঠছে, জনস্বার্থের কাউন্টারওয়েট হিসাবে EleutherAI-এর ভূমিকা, পরবর্তী প্রজন্মের গবেষকদের প্রশিক্ষণ, সম্ভবত এটি পাঠানো যে কোনও একক মডেলের প্যারামিটার গণনার চেয়ে বেশি গুরুত্বপূর্ণ।
বাস্তব-বিশ্ব বাস্তবায়ন
পাইল ডেটাসেটটি বিশ্বব্যাপী গবেষকরা উন্মুক্ত ভাষার মডেলগুলিকে প্রজননযোগ্যভাবে প্রশিক্ষণ এবং অধ্যয়নের জন্য ব্যবহার করেন।
GPT-J-6B এবং GPT-NeoX-20B বাণিজ্যিক API মডেলগুলির বিনামূল্যে বিকল্প হিসাবে স্টার্টআপ এবং শিক্ষাবিদদের দ্বারা স্থাপন করা হয়।
LM ইভালুয়েশন হারনেস হল স্ট্যান্ডার্ড টুল যা অনেক ল্যাবগুলি শত শত টাস্ক জুড়ে মডেল পারফরম্যান্সের মানদণ্ডের জন্য ব্যবহার করে।
স্বাধীন নিরাপত্তা এবং ব্যাখ্যাযোগ্যতা গবেষকরা মডেল ইন্টারনাল অধ্যয়ন করতে EleutherAI এর খোলা ওজন ব্যবহার করেন যা বন্ধ API লুকিয়ে রাখে।
ঝুঁকি এবং প্রহরী
লঞ্চ ঘোষণা বাস্তব উত্পাদন কর্মপ্রবাহ মধ্যে স্থিতিশীলতা ছাড়িয়ে যেতে পারে.
API মূল্য নির্ধারণ বা নীতি পরিবর্তন রাতারাতি অনুমান ভঙ্গ করতে পারে।
একক-বিক্রেতা নির্ভরতা লক-ইন এবং মাইগ্রেশন খরচ বাড়ায়।
বাস্তবায়ন রোডম্যাপ
আপনার নিজের কাজ এবং ডেটাসেট ব্যবহার করে প্রদানকারীদের মূল্যায়ন করুন।
একীকরণের আগে গোপনীয়তা, নিরাপত্তা এবং আইনি শর্তাবলী পর্যালোচনা করুন।
মডেল বা বিক্রেতা জুড়ে একটি ফলব্যাক পরিকল্পনা বজায় রাখুন।
রিলিজ নোটগুলি মনিটর করুন যাতে রোডম্যাপ পরিবর্তন দলগুলিকে অবাক না করে।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the EleutherAI quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
ওজন এবং পক্ষপাত
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is EleutherAI?
EleutherAI হল একটি তৃণমূল অলাভজনক গবেষণা সমষ্টি যেটি ওপেন-সোর্স বৃহৎ ভাষার মডেলের পথপ্রদর্শক যখন সীমান্ত AI কর্পোরেট দেয়ালের আড়ালে আটকে ছিল। এটি প্রমাণ করেছে যে একটি স্বেচ্ছাসেবক সম্প্রদায় বদ্ধ সিস্টেমের প্রতিদ্বন্দ্বী মডেলগুলি তৈরি করতে এবং অবাধে প্রকাশ করতে পারে, কে এআই গবেষণায় অংশ নিতে পারে তা পুনর্নির্মাণ করতে পারে।
কিভাবে EleutherAI মূলত 2020 সালে শুরু হয়েছিল?
EleutherAI তৎকালীন বন্ধ GPT-3 এর প্রতিলিপি করার জন্য সংগঠিত স্বেচ্ছাসেবকদের একটি অনানুষ্ঠানিক ডিসকর্ড সমষ্টি হিসাবে শুরু হয়েছিল।
'দ্য পাইল' কী?
পাইল হল একটি বৃহৎ, বৈচিত্র্যময়, প্রকাশ্যে প্রকাশিত টেক্সট কর্পাস EleutherAI যা ভাষা মডেলগুলিকে প্রশিক্ষণ ও অধ্যয়নের জন্য নির্মিত৷
এর মধ্যে কোনটি একটি EleutherAI ভাষার মডেল?
GPT-NeoX-20B হল EleutherAI-এর ফ্ল্যাগশিপ ওপেন মডেলগুলির মধ্যে একটি; অন্যরা Google বা Meta থেকে এসেছে।
LM মূল্যায়ন জোতা কি জন্য ব্যবহৃত হয়?
শত শত মানদণ্ডে ভাষার মডেলের মানসম্মত মূল্যায়নের জন্য জোতা একটি ব্যাপকভাবে গৃহীত ওপেন টুল।
কিভাবে EleutherAI প্রথম দিকে বড় মডেল প্রশিক্ষণের জন্য গণনা প্রাপ্ত?
একটি কর্পোরেট ডেটাসেন্টারের অভাবের কারণে, EleutherAI তার মডেলগুলিকে প্রশিক্ষণের জন্য স্পনসর-দানকৃত TPU এবং GPU সংস্থানগুলির উপর নির্ভর করেছিল।