СледваСледващо ръководство
Конволюционни невронни мрежи
Основи
РЪКОВОДСТВО по основи
Закони за мащабиране за невронни мрежи
Законите за мащабиране са емпирични връзки между загубата на езиков модел и количества като параметри, данни за обучение и изчисления.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Те могат да помогнат на изследователите да планират експерименти и да екстраполират в рамките на изследваните режими, но не гарантират точен резултат за нова архитектура, набор от данни или настройка за обучение.
Дълбоко гмуркане
Проучването на Каплан и колегите от 2020 г. установи емпирични степенни връзки между загубата на кръстосана ентропия на езиковия модел и размера на модела, размера на набора от данни и изчисленията за обучение в тестваните от тях режими. На логаритмичните графики степенният закон изглежда приблизително линеен. Тези монтирани връзки могат да се използват за оценка на резултатите за по-големи серии, но екстраполациите зависят от сравнимо обучение и настройки на данни. Оригиналният документ установи, че големите модели са по-ефективни при извадката в неговите експерименти и предложи оптимално изчислително обучение със сравнително големи модели и по-малко жетони, отколкото по-късната работа на Chinchilla препоръчва. По-късни проучвания, включително Llama 3, изследват обучението извън това по-ранно разпределение за оптимално изчисление.
Внедряване в реалния свят
Напасване на крива на загубите от по-малки контролирани серии, за да се информира по-голямо решение за бюджет за обучение
Сравняване на разпределението на параметри и данни при фиксиран бюджет за предварително обучение и изчисление
Проверка дали прогнозата остава точна, когато комбинацията от данни или архитектурата се промени
Разделяне на измерените тенденции на загубите от твърденията за способности надолу по веригата в отчет на модела
Бъдещето на законите за мащабиране за невронни мрежи
Изследванията на закона за мащабиране изучават нови смеси от данни, модалности, архитектури и изчисления на времето за извод. Тъй като режимите на обучение и данни се променят, изследователите трябва да преизмерят съответните криви. Законите за мащабиране поддържат планирането на ресурсите, докато точността, безопасността и надеждността надолу по веригата изискват отделна оценка.
Прилагайки го на практика
Защо има значение
- По-ясни решения. Помага ви да отделите ясните технически твърдения от маркетинговия език.
- Разходи и бюджет. Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
- Екип и работен процес. Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Внимавайте за
- Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
- Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
- Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Следващи стъпки
- Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
- Изберете един показател за успех и едно условие за неуспех преди тестване.
- Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
- Документирайте къде законите за мащабиране за невронни мрежи помагат и къде по-простите методи са по-добри.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Scaling Laws for Neural Networks quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво представляват законите за мащабиране за невронни мрежи?
Законите за мащабиране са емпирични връзки между загубата на езиков модел и количества като параметри, данни за обучение и изчисления. Те могат да помогнат на изследователите да планират експерименти и да екстраполират в рамките на изследваните режими, но не гарантират точен резултат за нова архитектура, набор от данни или настройка за обучение.
Какъв модел са направили Kaplan et al. отчет за загуба на езиков модел, тъй като размерът на модела, данните или изчисленията се увеличават?
Каплан и др. докладват емпирични степенни отношения в техните тествани диапазони; прилягането не трябва да се чете като гаранция извън сравними настройки.
Кои три величини са свързани със загубата на оригиналните закони за мащабиране?
Каплан и др. изучава загубата като степенен закон в броя на параметрите (N), жетони за обучение (D) и общо изчисление (C).
Как може да помогне при планирането на по-голямо тренировъчно изпълнение законът за мащабиране?
Напаснатите криви могат да информират за мащабни прогнози от по-малки експерименти, но промените в данните, архитектурата или условията на обучение могат да ограничат екстраполацията.
Какво представлява постоянният (нередуцируем) член във формула за загуба на закон за мащабиране?
Загубата има редуцируема част, която се свива с мащаба плюс нередуцируем праг, определен от присъщата случайност на данните.
Защо абсолютните намаления на загубите могат да станат по-малки, тъй като изчисленията продължават да нарастват при съответствие със степенния закон?
С L(X)=E+A·X^-α, фиксираното мултипликативно увеличение дава подобна дробна промяна в редуцируемия член, но по-малки абсолютни промени, когато този член се свие.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема