СледваСледващо ръководство
Групирана заявка внимание
Езиков AI
Език AI РЪКОВОДСТВО
Внимание за множество заявки
Multi-Query Attention (MQA) е спестяващ памет обрат на трансформиращото внимание, който споделя един набор от ключове и стойности във всички глави на вниманието.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Той драматично ускорява генерирането на текст чрез свиване на паметта, която моделът трябва да разбърква.
Дълбоко гмуркане
Стандартното внимание на няколко глави дава на всяка глава свои собствени заявки, ключови и стойностни прогнози. По време на генерирането ключовете и стойностите за всички минали токени трябва да се кешират и презареждат на всяка стъпка — този KV кеш се превръща в основното пречка, тъй като четенето му от паметта е по-бавно от самата математика. Multi-Query Attention, предложен от Noam Shazeer през 2019 г., поддържа отделни проекции на заявки за глава, но свива ключовете и стойностите до една споделена глава. Това свива KV кеша с фактор, равен на броя на главите, понякога 8x до 64x по-малък. Резултатът е много по-бързо авторегресивно декодиране и по-лек отпечатък на паметта, само със скромно понижаване на качеството. Средната позиция, Grouped-Query Attention, балансира компромиса.
Внедряване в реалния свят
Ускоряване на генерирането токен по токен в асистентите за чат, където KV кешът, а не суровото изчисление, ограничава пропускателната способност.
PaLM на Google, който използва Multi-Query Attention, за да даде възможност за ефективно широкомащабно заключение.
Обслужване на много едновременни потребители на един GPU чрез свиване на KV кеш паметта за всяка заявка.
Внимание с групирани заявки в Llama 2 70B и Llama 3, пряк наследник, балансиращ скоростта на MQA с пълно внимание.
Бъдещето на вниманието към множество заявки
MQA установи, че можете да отстраните излишните заглавия ключ/стойност с малко вреда и това прозрение сега оформя почти всеки LLM с бързо извеждане. Полето до голяма степен се сближи с вниманието на групирани заявки (GQA), използвано в Llama 2/3 и много други, което използва няколко KV групи, а не една, за да възстанови качеството, като същевременно запазва по-голямата част от ускорението. Бъдещата работа съчетава тези идеи с KV-кеш компресия, квантуване и мулти-латентно внимание, за да прокара по-дълги контексти и по-евтино обслужване.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
- Достъп и обхват. Той разширява достъпа между езици и стилове на комуникация.
- По-ясни решения. Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Внимавайте за
- Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
- Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
- Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Следващи стъпки
- Определете изходен формат, тон и стандарти за качество преди внедряване.
- Наземни отговори с доверени източници винаги, когато точността има значение.
- Поддържайте контролна точка за човешки преглед за изходи с високи залози.
- Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Multi-Query Attention quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е внимание при множество заявки?
Multi-Query Attention (MQA) е спестяващ памет обрат на трансформиращото внимание, който споделя един набор от ключове и стойности във всички глави на вниманието. Той драматично ускорява генерирането на текст чрез свиване на паметта, която моделът трябва да разбърква.
Какво споделя вниманието на множество заявки между всички глави на вниманието?
MQA поддържа отделни заявки за глава, но споделя една ключова проекция и една стойностна проекция за всички глави.
Какво е основното тясно място, което MQA адресира по време на авторегресивно генериране?
Презареждане на големия KV кеш, всяка стъпка е свързана с честотната лента; MQA свива този кеш, за да ускори декодирането.
Приблизително с какъв фактор MQA свива KV кеша?
Тъй като ключовете и стойностите се свиват от H глави до една, кешът се свива приблизително с броя на главите.
Какъв е основният компромис от използването на MQA?
Споделянето на ключове и стойности леко намалява капацитета за представяне, причинявайки малко понижаване на качеството в замяна на големи печалби в скоростта.
Кой вариант се намира между стандартното многостранно внимание и MQA?
Grouped-Query Attention (GQA) използва няколко KV групи вместо една, като балансира качеството и скоростта.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема