Преглед
Хипотезата за лотарийния билет казва, че вътре в голяма, произволно инициализирана невронна мрежа се крие малка подмрежа - "печеливш билет" - който, обучен сам от същите първоначални тегла, може да съответства на точността на пълната мрежа. Има значение, защото предполага, че тренираме много повече параметри, отколкото всъщност са ни необходими.
Хипотезата за лотарийния билет е част от основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Предложена от Джонатан Франкъл и Майкъл Карбин от Масачузетския технологичен институт през 2018 г., хипотезата произтича от изследване на резитбата. Обикновено можете да намалите обучената мрежа до 10-20% от теглото й, без да загубите точността, но обучението на тази малка мрежа от нулата е неуспешно. Франкъл и Карбин откриха трика: запазват първоначалните тегла на оцелелите връзки. Тази рядка подмрежа - печелившият билет - след това се тренира до пълна точност в изолация, понякога по-бързо от плътния оригинал. Те идентифицираха билети чрез „повтарящо се съкращаване на величината“: обучение, изрязване на теглата с най-малка величина, пренавиване на останалите до първоначалните им стойности и повторение. Резултатът предполага, че плътната надпараметризация основно помага на оптимизацията да намери добра разредена структура, а не че всички тези тегла са индивидуално необходими.
Техническа информация
Основната процедура е итеративно подрязване на величината с пренавиване на тежестта: след обучение премахнете тежестите с най-ниска величина, нулирайте оставащите тежести към първоначалната им инициализация (или контролна точка за ранно обучение, усъвършенстване, наречено „пренавиване“), след това обучете отново. Комбинацията от конкретна рядка маска И нейната съвпадаща инициализация е това, което прави билета „печеливш“ — повторното инициализиране на случаен принцип на същата маска унищожава ефекта.
Овладяване на хипотезата за лотарийния билет
Хипотезата за лотарийния билет казва, че вътре в голяма, произволно инициализирана невронна мрежа се крие малка подмрежа - "печеливш билет" - който, обучен сам от същите първоначални тегла, може да съответства на точността на пълната мрежа. Има значение, защото предполага, че тренираме много повече параметри, отколкото всъщност са ни необходими. Хипотезата за лотарийния билет е част от основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте хипотезата за лотарийния билет като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи хипотезата за лотарийни билети, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Компресиране на голям класификатор на изображения до под 20% от теглото му за внедряване на телефон, като същевременно се запази точността
Ускоряване на обучението чрез идентифициране и обучение само на рядка печеливша подмрежа
Проучване на възможността за прехвърляне на тегло чрез повторно използване на билет, намерен в един набор от данни, за стартиране на обучение на свързан
Намаляване на енергията за изводи и паметта в крайните устройства чрез изпращане на съкратения печеливш билет вместо плътния модел
Модели на изпълнение
Хипотезата за лотарийния билет на практика
Компресиране на голям класификатор на изображения до под 20% от теглото му за внедряване на телефон, като същевременно се запазва точността.
Компресиране на голям класификатор на изображения до под 20% от теглата му за внедряване на телефон, като същевременно се запази точността Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество отпред, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Хипотезата за лотарийния билет на практика
Ускоряване на обучението чрез идентифициране и обучение само на рядка печеливша подмрежа.
Ускоряване на обучението чрез идентифициране и обучение само на рядка печеливша подмрежа Екипите обикновено получават по-добри резултати, когато предварително определят праговете за качество, поддържат човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Хипотезата за лотарийния билет на практика
Проучване на възможността за прехвърляне на тегло чрез повторно използване на билет, намерен в един набор от данни, за стартиране на обучение на свързан.
Проучване на възможността за прехвърляне на тегло чрез повторно използване на билет, намерен в един набор от данни, за стартиране на обучение на свързан Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Хипотезата за лотарийния билет на практика
Намаляване на енергията за изводи и паметта в крайните устройства чрез изпращане на съкратения печеливш билет вместо плътния модел.
Намаляване на енергията за изводи и паметта в крайните устройства чрез изпращане на съкратения печеливш билет вместо плътния модел Екипите обикновено получават по-добри резултати, когато дефинират праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде Хипотезата за лотарийния билет помага и къде по-простите методи са по-добри.
Документирайте къде Хипотезата за лотарийния билет помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.