СледваСледващо ръководство
RWKV Линейно внимание
Езиков AI
Техническо РЪКОВОДСТВО
Линейно внимание и ядра на изпълнителя
Линейното внимание заменя квадратичното меко максимално внимание в Transformers с математически трик, който се мащабира линейно с дължината на последователността.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Performer е забележителен метод, който приближава softmax с помощта на произволни функционални ядра, което прави много дълги последователности изчислително достъпни.
Дълбоко гмуркане
Стандартното внимание на трансформатора изчислява резултат между всяка двойка токени, като струва време и памет, които растат с квадрата на дължината на последователността (O(n^2)). Линейното внимание пренаписва изчислението, така че цената нараства само линейно (O(n)). Ключовата идея: softmax вниманието е softmax(QK^T)V, но ако замените softmax с карта на характеристиките на ядрото phi, получавате phi(Q)(phi(K)^T V). Тъй като умножението на матрицата е асоциативно, вие първо изчислявате phi(K)^T V (малка матрица d-by-d), като изцяло избягвате гигантската матрица с резултати n-by-n. Изпълнител, от Google през 2020 г., прави това вярно приближение на истинския softmax, използвайки FAVOR+ (Fast Attention Via positive Orthogonal Random features), изготвяйки произволни проекции, които поддържат оценките на ядрото безпристрастни и стабилни.
Внедряване в реалния свят
Обработката на дълги геномни или протеинови последователности, където пълното квадратично внимание би изтощило GPU паметта
Обобщаване на ниво документ върху много дълги отчети без разделяне, използвайки гръбнак в стил Performer
Ефективно дългоформатно аудио или моделиране на времеви серии, където последователностите обхващат десетки хиляди стъпки
Намаляване на разходите за изводи в модели на чат с дълъг контекст чрез замяна на някои слоеве softmax с варианти на линейно внимание
Бъдещето на линейното внимание и ядрата на изпълнителите
Чистото линейно внимание често изостава от softmax по отношение на качеството, така че полето се сближава с хибриди: модели на пространството на състоянието (Mamba), затворено линейно внимание и архитектури, които смесват няколко слоя с пълно внимание с много линейни. Тъй като контекстните прозорци се насочват към милиони токени, линейните и подквадратичните механизми стават все по-привлекателни по отношение на разходите, а линейното внимание в повтарящ се стил се преразглежда за ефективни изводи за поточно предаване и модели на устройството.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Linear Attention and Performer Kernels quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е линейно внимание и производителни ядра?
Линейното внимание заменя квадратичното меко максимално внимание в Transformers с математически трик, който се мащабира линейно с дължината на последователността. Performer е забележителен метод, който приближава softmax с помощта на произволни функционални ядра, което прави много дълги последователности изчислително достъпни.
Защо стандартното softmax внимание се мащабира лошо с дължината на последователността?
Softmax внимание сравнява всяка двойка жетони, създавайки n-по-n матрица с резултати, така че цената нараства като O(n^2).
Кое математическо свойство позволява на линейното внимание да избегне матрицата n-по-n?
Тъй като умножението на матрицата е асоциативно, можете първо да изчислите phi(K)^T V, малка матрица d-by-d, вместо phi(Q)phi(K)^T.
Какво приблизително представлява механизмът FAVOR+ на Performer?
FAVOR+ използва положителни ортогонални произволни характеристики, за да апроксимира експоненциалното мекомаксимално ядро, без да формира пълната матрица на вниманието.
Защо Performer използва положителни произволни характеристики, а не по-ранните тригонометрични?
Положителните характеристики поддържат оценките на ядрото неотрицателни, избягвайки нестабилността и отрицателните стойности, които измъчваха по-ранните карти на функциите sin/cos.
Каква е приблизителната сложност на линейното внимание в стила на изпълнител в дължина на последователност n?
Чрез пренареждане на изчислението и никога не изграждане на матрицата n-по-n, разходите се мащабират линейно с дължината на последователността.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема