Преглед
BigScience беше едногодишно отворено изследователско сътрудничество на над 1000 изследователи, което създаде BLOOM, един от първите наистина многоезични, открито пуснати големи езикови модели. Има значение като ориентир в прозрачния, управляван от общността AI, изграден извън Big Tech.
BigScience и моделът BLOOM се разбират най-добре в контекста на стратегията, достъпа до модела, платформените решения и екосистемните партньорства.
Дълбоко гмуркане
BigScience беше едногодишен изследователски семинар, който се проведе от 2021 до 2022 г., координиран от Hugging Face и обединяващ повече от 1000 изследователи доброволци от над 60 държави и 250 институции. Основният му резултат, пуснат през юли 2022 г., беше BLOOM, авторегресивен езиков модел със 176 милиарда параметъра. BLOOM беше умишлено многоезичен, обучен по корпуса ROOTS, обхващащ 46 естествени езика и 13 езика за програмиране, със силно представяне на недостатъчно представени езици, като няколко африкански и южноазиатски езика. Обучението продължи няколко месеца на публично финансирания суперкомпютър Jean Zay във Франция, използвайки около 384 графични процесора. BLOOM беше пуснат под лиценза за отговорен изкуствен интелект с пълна документация за своите данни, обучение и предвидени употреби, контрастиращи рязко със затворената разработка на сравними модели.
Техническа информация
BLOOM е трансформатор само за декодер с подобен мащаб на GPT-3, използващ ALiBi позиционни вграждания вместо заучени позиционни вектори, което му помага да екстраполира към по-дълги последователности, отколкото се вижда в обучението. Той също така прилага нормализиране на слоя за вграждане, което подобрява стабилността на обучението в мащаб. Многоезичният корпус на ROOTS беше внимателно сглобен и документиран, така че езиковият микс и източниците на данни бяха прозрачни и подлежащи на проверка, умишлено отклонение от непрозрачните набори от данни.
Овладяване на BigScience и модела BLOOM
BigScience беше едногодишно отворено изследователско сътрудничество на над 1000 изследователи, което създаде BLOOM, един от първите наистина многоезични, открито пуснати големи езикови модели. Има значение като ориентир в прозрачния, управляван от общността AI, изграден извън Big Tech. BigScience и моделът BLOOM се разбират най-добре в контекста на стратегията, достъпа до модела, платформените решения и екосистемните партньорства. За да изградите дълбоко разбиране, третирайте BigScience и модела BLOOM като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи BigScience и модела BLOOM, оценяват стратегията на доставчика, надеждността на пътната карта и риска от блокиране, преди да се ангажират. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък. В същото време съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък.
Пътните карти на доставчиците влияят на това какви функции вашият екип може да изгради по-нататък. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск.
Търговските условия и опциите за внедряване влияят върху дългосрочните разходи и риск. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта.
Стимулите на компанията оформят продуктовите стандарти, безопасността и откритостта. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Генериране и допълване на текст на десетки езици, включително такива, които не се обслужват от комерсиални модели
Служи като отворена база за изследване за изучаване на пристрастия, многоезичен трансфер и поведение при мащабиране
Фина настройка във варианти, специфични за задача или следващи инструкции, като BLOOMZ за неанглийски общности
Предоставяне на напълно документиран модел за академици, изучаващи произхода на данните за обучение и отговорно лицензиране на AI
Модели на изпълнение
BigScience и моделът BLOOM на практика
Генериране и допълване на текст на десетки езици, включително такива, които не се обслужват от комерсиални модели.
Генериране и допълване на текст на десетки езици, включително такива, които не се обслужват от комерсиални модели. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
BigScience и моделът BLOOM на практика
Служи като отворена база за изследване за изучаване на пристрастия, многоезичен трансфер и поведение при мащабиране.
Служейки като отворена изследователска база за изучаване на пристрастия, многоезичен трансфер и поведение при мащабиране Екипите обикновено получават по-добри резултати, когато предварително определят праговете на качеството, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
BigScience и моделът BLOOM на практика
Фина настройка във варианти, специфични за задача или следващи инструкции, като BLOOMZ за неанглийски общности.
Фина настройка във варианти, специфични за задачата или следващи инструкции, като BLOOMZ за неанглийски общности Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
BigScience и моделът BLOOM на практика
Предоставяне на напълно документиран модел за академици, изучаващи произхода на данните за обучение и отговорно лицензиране на AI.
Осигуряване на напълно документиран модел за академици, изучаващи произхода на данните за обучение и отговорно лицензиране на AI Екипите обикновено получават по-добри резултати, когато дефинират предварително прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Съобщенията за стартиране може да изпреварят стабилността в реалните производствени работни процеси.
Ценообразуването на API или промените в политиката могат да разбият предположенията за една нощ.
Зависимостта от един доставчик увеличава разходите за заключване и миграция.
Пътна карта за изпълнение
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни.
Оценявайте доставчиците, като използвате вашите собствени задачи и набори от данни. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Прегледайте поверителността, сигурността и правните условия преди интегриране.
Прегледайте поверителността, сигурността и правните условия преди интегриране. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Поддържайте резервен план за модели или доставчици.
Поддържайте резервен план за модели или доставчици. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите.
Наблюдавайте бележките по изданието, така че промените в пътната карта да не изненадват екипите. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.