СледваСледващо ръководство
Magic AI дългоконтекстни кодови модели
Фирми
Фирми РЪКОВОДСТВО
BigScience и моделът BLOOM
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Дълбоко гмуркане
The BigScience paper describes BLOOM as a decoder-only Transformer with 176 billion parameters. It was trained on ROOTS, a corpus assembled from hundreds of sources in 46 natural languages and 13 programming languages. The collaboration released the model and code under the Responsible AI License and documented data and training choices. Its open-access release supports research, but does not remove the need to consider the license, model limitations, or the represented language distribution.
Внедряване в реалния свят
Генериране и допълване на текст на десетки езици, включително такива, които не се обслужват от комерсиални модели
Служи като отворена база за изследване за изучаване на пристрастия, многоезичен трансфер и поведение при мащабиране
Фина настройка във варианти, специфични за задача или следващи инструкции, като BLOOMZ за неанглийски общности
Предоставяне на напълно документиран модел за академици, изучаващи произхода на данните за обучение и отговорно лицензиране на AI
Бъдещето на BigScience и моделът BLOOM
BigScience демонстрира, че широкомащабният, открито управляван AI е възможен и неговият модел повлия на по-късните отворени версии и по-широкия натиск за прозрачност. Бъдещата многоезична работа вероятно ще се основава на своите уроци в документирането на данни и приобщаващото езиково покритие, докато по-новите, по-ефективни модели са надминали BLOOM по отношение на необработените възможности. Неговото трайно наследство е нормата за публикуване на карти с модели, изявления за данни и отговорни лицензи, плюс доказателство, че публичните изчисления могат да обучават модели в граничен мащаб.
Прилагайки го на практика
Защо има значение
- Стратегия на доставчика. Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
- Разходи и бюджет. Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
- Риск и безопасност. Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Внимавайте за
- Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
- Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
- Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Следващи стъпки
- Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
- Прегледайте поверителността, сигурността и правните условия преди интегриране.
- Поддържайте резервен план за модели или доставчици.
- Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the BigScience and the BLOOM Model quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е BigScience и моделът BLOOM?
BLOOM is a 176-billion-parameter multilingual language model produced by the BigScience collaboration and released with its research documentation. Its ROOTS training corpus included natural and programming languages, making it a prominent open-access research model.
Каква беше основната отличителна цел на модела BLOOM в сравнение с моделите с подобни размери от онова време?
BLOOM е проектиран да бъде наистина многоезичен и е пуснат открито с пълна документация, за разлика от затворени модели от сравним мащаб.
Приблизително колко параметъра има BLOOM?
BLOOM е модел със 176 милиарда параметри, което го поставя в подобна скала на GPT-3.
На колко естествени езика е бил обучен BLOOM да борави?
Обучителният корпус ROOTS на BLOOM обхваща 46 естествени езика плюс 13 езика за програмиране.
Коя организация координира сътрудничеството BigScience?
Hugging Face координира BigScience, семинар от повече от 1000 изследователи доброволци.
Къде е бил обучаван BLOOM?
BLOOM беше обучен на суперкомпютъра Jean Zay във Франция, демонстрирайки, че публичните изчисления могат да обучават модел в граничен мащаб.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема