Хипотеза за лотарийни билети
Хипотезата за лотарийния билет казва, че вътре в голяма, произволно инициализирана невронна мрежа се крие малка подмрежа - "печеливш билет" - който, обучен сам от същите първоначални тегла, може да съответства на точността на пълната мрежа.
Преглед
It matters because it suggests we are training far more parameters than we actually need.
Дълбоко гмуркане
Предложена от Джонатан Франкъл и Майкъл Карбин от Масачузетския технологичен институт през 2018 г., хипотезата произтича от изследване на резитбата. Обикновено можете да намалите обучената мрежа до 10-20% от теглото й, без да загубите точността, но обучението на тази малка мрежа от нулата е неуспешно. Франкъл и Карбин откриха трика: запазват първоначалните тегла на оцелелите връзки. Тази рядка подмрежа - печелившият билет - след това се тренира до пълна точност в изолация, понякога по-бързо от плътния оригинал. Те идентифицираха билети чрез „повтарящо се съкращаване на величината“: обучение, изрязване на теглата с най-малка величина, пренавиване на останалите до първоначалните им стойности и повторение. Резултатът предполага, че плътната надпараметризация основно помага на оптимизацията да намери добра разредена структура, а не че всички тези тегла са индивидуално необходими.
Техническа информация
Основната процедура е итеративно подрязване на величината с пренавиване на тежестта: след обучение премахнете тежестите с най-ниска величина, нулирайте оставащите тежести към първоначалната им инициализация (или контролна точка за ранно обучение, усъвършенстване, наречено „пренавиване“), след това обучете отново. Комбинацията от конкретна рядка маска И нейната съвпадаща инициализация е това, което прави билета „печеливш“ — повторното инициализиране на случаен принцип на същата маска унищожава ефекта.
Стратегическо въздействие
Clearer decisions
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Cost and budget
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Team and workflow
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Хипотезата за бъдещето на лотарийните билети
Лотарийните билети подхранват изследванията за обучение на разпръснати мрежи от самото начало, за да пестят изчисления и енергия, и дали билетите се прехвърлят между набори от данни и задачи. Мащабирането на итеративно съкращаване до модели с милиарди параметри остава скъпо, така че работата продължава по намирането на евтини билети или доказването, че съществуват (хипотезата за „силните“ лотарийни билети казва, че билетите съществуват при инициализация без никакво обучение). Очаквайте връзки с ефективни модели на устройството и зелен AI.
Внедряване в реалния свят
Компресиране на голям класификатор на изображения до под 20% от теглото му за внедряване на телефон, като същевременно се запази точността
Ускоряване на обучението чрез идентифициране и обучение само на рядка печеливша подмрежа
Проучване на възможността за прехвърляне на тегло чрез повторно използване на билет, намерен в един набор от данни, за стартиране на обучение на свързан
Намаляване на енергията за изводи и паметта в крайните устройства чрез изпращане на съкратения печеливш билет вместо плътния модел
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Документирайте къде Хипотезата за лотарийния билет помага и къде по-простите методи са по-добри.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Chinchilla Compute-Оптимално обучение
Frequently asked questions
What is Lottery Ticket Hypothesis?
Хипотезата за лотарийния билет казва, че вътре в голяма, произволно инициализирана невронна мрежа се крие малка подмрежа - "печеливш билет" - който, обучен сам от същите първоначални тегла, може да съответства на точността на пълната мрежа. Има значение, защото предполага, че тренираме много повече параметри, отколкото всъщност са ни необходими.
Какво е „печеливш билет“ в тази хипотеза?
Печеливш билет е малка подмрежа, която, когато се обучава изолирано от същите първоначални тегла, достига точност, сравнима с плътната мрежа.
Защо обучението на съкратената подмрежа обикновено се проваля, освен ако не направите нещо специално?
Ключовото прозрение е, че рядката маска работи само когато е сдвоена със съответстващата оригинална инициализация; произволната повторна инициализация го прекъсва.
Кой предложи хипотезата за лотарийния билет?
Джонатан Франкъл и Майкъл Карбин представиха хипотезата в своята статия от MIT от 2018 г.
Каква техника се използва за намиране на печеливши билети?
Итеративното подрязване на величината многократно се обучава, премахва теглата с най-малка величина и пренавива останалите до първоначалните им стойности.
Какво предлага хипотезата за големи свръхпараметризирани мрежи?
Констатацията предполага, че свръхпараметризацията подпомага търсенето на обучаема рядка подмрежа, вместо да е необходимо всяко тегло.