СледваСледващо ръководство
Block-Sparse и Native Sparse внимание
технически
Език AI РЪКОВОДСТВО
Модели на оскъдно внимание
Оскъдното внимание прави Transformers по-евтини, като позволява на всеки токен да се грижи само за внимателно избрана подгрупа от други токени, а не за всички тях.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
This trades a little global reach for big savings in memory and compute on long sequences.
Дълбоко гмуркане
Пълното самовнимание сравнява всеки токен с всеки друг токен, така че цената расте с квадрата на дължината на последователността, което става болезнено за дълги документи. Оскъдното внимание заменя плътния модел със структуриран. Общите дизайни включват (локално) внимание с плъзгащ се прозорец, където всеки жетон вижда само близки съседи; набраздени или разширени шарки, които прескачат напред, за да достигнат евтино до далечен контекст; и глобални токени, няколко специални позиции, които се грижат за всичко и за което всичко се грижи, действайки като информационни центрове. Модели като Longformer, BigBird и Sparse Transformer ги комбинират, така че общият брой на връзките расте приблизително линейно вместо квадратично, което позволява контексти от хиляди до десетки хиляди токени.
Внедряване в реалния свят
Longformer обработва цели научни статии или правни документи с едно преминаване, използвайки плъзгащ се прозорец плюс глобално внимание
BigBird обработва дълъг документ с отговори на въпроси и геномни последователности с внимание с линейно мащабиране
Обобщаване на текст с дължина на книга, където пълното внимание би изчерпало паметта на GPU
Системи за извличане и чат с дълъг контекст, които използват глобални хъб токени за маршрутизиране на ключова информация през хиляди токени
Бъдещето на моделите на оскъдно внимание
Разреденото внимание остава централно за моделирането на дълъг контекст, все повече съчетано с оптимизирани ядра като FlashAttention и с научена или динамична разреденост, която избира кои токени да се обърне на вход. Тъй като контекстните прозорци се простират към милиони токени, хибридните стекове смесват редки, плътни и слоеве на пространството на състоянието. Очаквайте хардуерно оскъдни ядра и внимание, базирано на маршрутизиране, за да продължите да намалявате разходите за четене на много дълги входове.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
- Достъп и обхват. Той разширява достъпа между езици и стилове на комуникация.
- По-ясни решения. Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Внимавайте за
- Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
- Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
- Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Следващи стъпки
- Определете изходен формат, тон и стандарти за качество преди внедряване.
- Наземни отговори с доверени източници винаги, когато точността има значение.
- Поддържайте контролна точка за човешки преглед за изходи с високи залози.
- Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Sparse Attention Patterns quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Sparse Attention Patterns?
Оскъдното внимание прави Transformers по-евтини, като позволява на всеки токен да се грижи само за внимателно избрана подгрупа от други токени, а не за всички тях. Това разменя малък глобален обхват за големи спестявания на памет и изчисления на дълги поредици.
Защо пълното самовнимание е скъпо при дълги поредици?
Пълното внимание сравнява всеки токен с всеки друг токен, като дава O(N на квадрат) цена във времето и паметта.
Какво е (локално) внимание с плъзгащ се прозорец?
Местното внимание ограничава изгледа на всеки токен до фиксиран прозорец от околните токени, което драстично намалява разходите.
Каква е целта на „глобалните токени“ при оскъдно внимание?
Няколко глобални жетона се свързват с всички позиции, позволявайки на информацията да тече през цялата последователност евтино.
Кой модел доказа, че комбинирането на случайно, прозорец и глобално внимание запазва пълната изразителност на вниманието?
BigBird показа, че неговият разреден модел е универсален апроксиматор на последователни функции, като същевременно мащабира грубо линейно.
Приблизително как се мащабира броят на връзките в добре проектираното рядко внимание?
Чрез ограничаване на връзките до локални прозорци плюс няколко глобални връзки, общите връзки нарастват линейно.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема