Скрито внимание с няколко глави
Multi-Head Latent Attention (MLA) е механизъм за внимание, въведен в DeepSeek-V2, който компресира гладния за памет кеш ключ-стойност в малък споделен латентен вектор.
Преглед
It lets large language models run with far less GPU memory while keeping quality close to standard attention.
Дълбоко гмуркане
Когато трансформатор генерира текст, той съхранява ключ и вектор на стойност за всеки минал токен в „KV кеш“. Този кеш расте с дължината на контекста и доминира използването на паметта по време на извод. MLA заменя многото вектори ключ/стойност в пълен размер с единичен латентен вектор от нисък ранг на токен, след което проектира латентно обратно в ключове и стойности за глава в движение. Тъй като се кешира само компактният латент, DeepSeek-V2 съобщава за намаляване на KV-кеш паметта с над 90% в сравнение със стандартното многоглаво внимание, позволявайки по-дълги контексти и по-големи размери на партиди. Най-важното е, че матриците за проекция нагоре могат да бъдат сгънати в други тегла, така че MLA постига тази компресия с малка или никаква измерима загуба в качеството на моделиране.
Техническа информация
MLA извършва съвместно компресиране от нисък ранг: скритото състояние на всеки токен се проектира надолу до малък латентен вектор и отделни матрици за проекция нагоре реконструират ключове и стойности за глава. Умен трик е „усвояването“ на теглата на проекцията нагоре в проекциите на заявката и изхода, така че моделът никога да не материализира пълни ключове/стойности по време на извод. Вграждането на въртяща се позиция се обработва с отделен ключов път, тъй като въртенето не може да бъде усвоено по същия начин, като се запазва информацията за позицията.
Стратегическо въздействие
Speed and scale
Езиковите работни процеси могат да се движат по-бързо, без да се жертва последователността.
Access and reach
Той разширява достъпа между езици и стилове на комуникация.
Clearer decisions
Екипите могат да отделят повече време за преценка, докато автоматизацията се справя с повторението.
Бъдещето на латентното внимание с множество глави
MLA помогна DeepSeek-V2 и V3 да станат икономични за обслужване в мащаб и техниката се разпространява, тъй като екипите преследват по-евтини изводи за дълъг контекст. Очаквайте латентна компресия в стил MLA, която да се комбинира с редки слоеве Mixture-of-Experts, квантувани кешове и спекулативно декодиране в бъдещи отворени модели. Изследователите също така проучват доколко латентното измерение може да се свие, преди качеството да спадне, и дали същата идея от нисък ранг може да компресира вниманието по време на обучение, а не само заключение.
Внедряване в реалния свят
Обслужване на модели за чат DeepSeek-V2/V3 с драстично по-малки отпечатъци от GPU памет на заявка
Пускане на въпрос с дълъг документ, отговарящ къде голям KV кеш иначе би изтощил VRAM
Увеличаване на размера на партидата за извод на фиксиран GPU, тъй като всяка последователност съхранява само малък латентен вектор
Активиране на по-дълги контекстни прозорци на стоков хардуер за помощници с разширени извличане
Рискове и предпазни огради
Халюцинираните факти могат тихо да влязат в отчети, потоци за поддръжка или резултати от изследвания.
Бързата чувствителност може да създаде противоречиви резултати при подобни заявки.
Чувствителните текстови данни могат да бъдат разкрити, ако контролите за достъп са слаби.
Пътна карта за изпълнение
Определете изходен формат, тон и стандарти за качество преди внедряване.
Наземни отговори с доверени източници винаги, когато точността има значение.
Поддържайте контролна точка за човешки преглед за изходи с високи залози.
Проследявайте моделите на неуспехи и редовно обучавайте подкани или работни потоци.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Multi-Head Latent Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Внимание за множество заявки
Frequently asked questions
What is Multi-Head Latent Attention?
Multi-Head Latent Attention (MLA) е механизъм за внимание, въведен в DeepSeek-V2, който компресира гладния за памет кеш ключ-стойност в малък споделен латентен вектор. Той позволява на големите езикови модели да работят с много по-малко GPU памет, като същевременно поддържа качеството близко до стандартното внимание.
Какъв е основният проблем, за да намали латентното внимание с няколко глави?
MLA е насочен към KV кеша, който нараства с дължината на контекста и доминира в паметта по време на генерирането на текст.
Как MLA свива KV кеша?
MLA кешира един компактен латентен вектор на токен и реконструира ключове и стойности от него чрез възходяща проекция.
Кой модел за първи път представи латентно внимание с няколко глави?
MLA беше въведено от DeepSeek в неговия модел DeepSeek-V2 и пренесено в DeepSeek-V3.
Защо MLA се нуждае от отделен „отделен“ път за вграждане на ротационни позиции?
Ротационната трансформация не може да бъде абсорбирана в други тегловни матрици, така че MLA запазва малък отделен ключов компонент за пренасяне на позиционна информация.
Приблизително колко намаление на паметта на KV-кеша отчете DeepSeek-V2 от MLA спрямо стандартното внимание с няколко глави?
DeepSeek-V2 съобщава за намаляване на KV-кеш паметта с повече от 90%, позволявайки по-дълги контексти и по-големи пакети.