NastępnyNastępny poradnik
Uwaga dotycząca zapytania grupowego
Językowa sztuczna inteligencja
PRZEWODNIK Językowy AI
Uwaga dotycząca wielu zapytań
Uwaga wielozapytaniowa (MQA) to oszczędzająca pamięć odmiana uwagi transformatora, która udostępnia jeden zestaw kluczy i wartości wszystkim głowicom uwagi.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
Znacząco przyspiesza generowanie tekstu poprzez zmniejszenie pamięci, którą musi przetasować model.
Głębokie nurkowanie
Standardowa uwaga wielogłowa zapewnia każdej głowie własne prognozy zapytań, kluczy i wartości. Podczas generowania klucze i wartości wszystkich poprzednich tokenów muszą być buforowane i ponownie ładowane na każdym kroku — pamięć podręczna KV staje się głównym wąskim gardłem, ponieważ odczytanie jej z pamięci jest wolniejsze niż sama matematyka. Funkcja Multi-Query Attention, zaproponowana przez Noama Shazeera w 2019 r., utrzymuje oddzielne projekcje zapytań na głowę, ale zwija klucze i wartości do jednej wspólnej głowy. Zmniejsza to pamięć podręczną KV o współczynnik równy liczbie głowic, czasami od 8 do 64 razy mniejszy. Rezultatem jest znacznie szybsze dekodowanie autoregresyjne i mniejsze zużycie pamięci, przy jedynie niewielkim spadku jakości. Rozwiązanie pośrednie, uwaga na zapytania grupowe, równoważy kompromis.
Implementacja w świecie rzeczywistym
Przyspieszenie generowania tokenów tokenów w asystentach czatu, gdzie pamięć podręczna KV, a nie surowe obliczenia, ogranicza przepustowość.
PaLM firmy Google, który wykorzystuje funkcję Multi-Query Attention w celu umożliwienia wydajnego wnioskowania na dużą skalę.
Obsługa wielu jednoczesnych użytkowników na jednym procesorze graficznym poprzez zmniejszenie pamięci podręcznej KV na żądanie.
Grouped-Query Attention w Llama 2 70B i Llama 3, bezpośredni następca równoważący prędkość MQA z jakością pełnej uwagi.
Przyszłość uwagi wielozadaniowej
MQA ustaliło, że można przyciąć zbędne głowy klucz/wartość przy niewielkich szkodach, a ta wiedza kształtuje obecnie prawie każdy LLM z szybkim wnioskowaniem. Dziedzina ta w dużej mierze skupia się na funkcji Grouped-Query Attention (GQA), używanej w Lamie 2/3 i wielu innych, która wykorzystuje kilka grup KV zamiast jednej w celu odzyskania jakości przy zachowaniu większości przyspieszenia. Przyszłe prace łączą te pomysły z kompresją pamięci podręcznej KV, kwantyzacją i wieloutajoną uwagą, aby wydłużyć konteksty i obniżyć koszty obsługi.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Szybkość i skala. Przepływy pracy związane z językiem mogą przebiegać szybciej bez utraty spójności.
- Dostęp i zasięg. Rozszerza dostęp w różnych językach i stylach komunikacji.
- Jaśniejsze decyzje. Zespoły mogą spędzać więcej czasu na ocenie, podczas gdy automatyzacja radzi sobie z powtarzalnością.
Uważaj na
- Halucynacyjne fakty mogą po cichu trafiać do raportów, strumieni wsparcia lub wyników badań.
- Szybka czułość może spowodować niespójne wyniki w przypadku podobnych żądań.
- Wrażliwe dane tekstowe mogą zostać ujawnione, jeśli kontrola dostępu jest słaba.
Kolejne kroki
- Zdefiniuj format wyjściowy, ton i standardy jakości przed wdrożeniem.
- Zawsze, gdy liczy się dokładność, korzystaj z zaufanych źródeł.
- Utrzymuj punkt kontrolny weryfikacji ręcznej w przypadku wyników o wysokiej stawce.
- Śledź wzorce niepowodzeń i regularnie powtarzaj monity lub przepływy pracy.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the Multi-Query Attention quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest uwaga dotycząca wielu zapytań?
Uwaga wielozapytaniowa (MQA) to oszczędzająca pamięć odmiana uwagi transformatora, która udostępnia jeden zestaw kluczy i wartości wszystkim głowicom uwagi. Znacząco przyspiesza generowanie tekstu poprzez zmniejszenie pamięci, którą musi przetasować model.
Co funkcja Multi-Query Attention jest wspólna dla wszystkich głów uwagi?
MQA utrzymuje oddzielne zapytania na głowę, ale dzieli jedną projekcję klucza i jedną projekcję wartości dla wszystkich głów.
Jakie jest główne wąskie gardło, które rozwiązuje MQA podczas generowania autoregresyjnego?
Każdy krok ponownego ładowania dużej pamięci podręcznej KV jest ograniczony przepustowością; MQA zmniejsza pamięć podręczną, aby przyspieszyć dekodowanie.
O jaki mniej więcej współczynnik MQA zmniejsza pamięć podręczną KV?
Ponieważ klucze i wartości zbiegają się z głów H do jednej, pamięć podręczna zmniejsza się w przybliżeniu o liczbę głów.
Jaki jest główny kompromis związany ze stosowaniem MQA?
Udostępnianie kluczy i wartości nieznacznie zmniejsza możliwości reprezentacji, powodując niewielki spadek jakości w zamian za duży wzrost szybkości.
Który wariant plasuje się pomiędzy standardową uwagą wielogłową a MQA?
Funkcja Grouped-Query Attention (GQA) wykorzystuje kilka grup KV zamiast jednej, równoważąc jakość i szybkość.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat