NastępnyNastępny poradnik
Prywatność różnicowa
Techniczne
PRZEWODNIK techniczny
PagedAttention i vLLM
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions.
Posłuchaj tego przewodnikaOpowiadane przez sztuczną inteligencję · ~2 min
Na tej stronie2 minuty czytania
Przegląd
This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Głębokie nurkowanie
Kiedy model języka generuje tekst, przechowuje „pamięć podręczną KV” (wektory klucza i wartości) dla każdego tokena, który zobaczył, aby następny token mógł uwzględnić pełny kontekst. Tradycyjnie każde żądanie rezerwowało jeden duży, ciągły blok pamięci GPU o rozmiarze odpowiadającym jej maksymalnej możliwej długości, marnując ogromne ilości, gdy sekwencje były krótsze lub miały różną długość. PagedAttention, wprowadzony w artykule vLLM z 2023 r. z Uniwersytetu Kalifornijskiego w Berkeley, zapożycza koncepcję stronicowania pamięci wirtualnej z systemów operacyjnych: dzieli pamięć podręczną KV na bloki o stałym rozmiarze, które mogą znajdować się w dowolnym miejscu pamięci i być przydzielane na żądanie. Tabela przeglądowa odwzorowuje pozycje tokenów logicznych na bloki fizyczne. To prawie eliminuje fragmentację pamięci i pozwala na współdzielenie bloków, na przykład na wielu wynikach z tego samego monitu.
Implementacja w świecie rzeczywistym
Hostowanie interfejsu API LLM typu open source, w którym vLLM obsługuje wielu jednoczesnych użytkowników czatu z jednego procesora graficznego z dużą przepustowością
Udostępnianie długiego monitu systemowego tysiącom żądań poprzez buforowanie prefiksów, dzięki czemu jest on przetwarzany raz, a nie wielokrotnie
Wyszukiwanie ciągłej belki lub wielokrotne próbne uzupełnienia, które dzielą bloki KV dla wspólnego monitu poprzez kopiowanie przy zapisie
Ograniczanie marnowania pamięci GPU na skutek fragmentacji, dzięki czemu dostawca może spakować więcej jednoczesnych sesji na tym samym sprzęcie
Przyszłość PagedAttention i vLLM
vLLM stał się domyślnym szkieletem wnioskowania typu open source, a pomysły PagedAttention pojawiają się teraz w większości stosów obsługujących. Oczekuj głębszego buforowania prefiksów (ponowne wykorzystanie buforowanych monitów systemowych wśród użytkowników), zdezagregowanego wstępnego wypełniania i dekodowania na oddzielnych komputerach, inteligentniejszych zasad wykluczania oraz ścisłej integracji z kwantyzacją i dekodowaniem spekulatywnym. W miarę jak okna kontekstowe rozrastają się do milionów tokenów, wydajne zarządzanie stronicowanymi KV staje się jeszcze ważniejsze dla zapewnienia przystępnej ceny usług.
Wdrażanie tego w praktykę
Dlaczego to ma znaczenie
- Koszt i budżet. Decyzje dotyczące architektury wpływają na wydajność i koszty operacyjne przez lata.
- Jaśniejsze decyzje. Edukacja techniczna pomaga zespołom wybrać odpowiedni stos, a nie tylko najnowszy.
- Kontrola jakości. Lepsze wybory inżynieryjne zmniejszają liczbę incydentów związanych z niezawodnością w produkcji.
Uważaj na
- Optymalizacja jednego testu porównawczego może ukryć szersze słabości systemu.
- Koszty infrastruktury i utrzymania są często niedoszacowane.
- W miarę jak systemy stają się coraz bardziej złożone, luki w bezpieczeństwie i obserwowalności mogą się zwiększać.
Kolejne kroki
- Przed wdrożeniem zdefiniuj docelowe opóźnienia, jakość i koszty.
- Test porównawczy w realistycznych warunkach obciążenia i danych.
- Monitorowanie przyrządu pod kątem błędów, dryftu i wpływu użytkownika.
- Przed skalowaniem przygotuj ścieżki wycofywania zmian i reakcji na incydenty.
Odkrywaj dalej
Darmowy newsletter
Otrzymuj codzienne podsumowanie AI
Trzy zweryfikowane historie AI każdego poranka w dni robocze, napisane prostym angielskim. Bezpłatne na zawsze, bez reklam.
Jedno e‑mail każdego dnia roboczego. Wypisz się jednym kliknięciem. Nigdy nie sprzedajemy ani nie udostępniamy Twojego adresu.
Sprawdź się
Take the PagedAttention and vLLM quiz
Natychmiastowa informacja zwrotna na każde pytanie oraz udostępnialny certyfikat z weryfikowalnym ID po zaliczeniu kursu.
Wspieraj darmową edukację AI. AI Understanding jest organizacją non-profit 501(c)(3) — bez reklam, bez płatnej ściany, zawsze. Przekaż darowiznę
Często zadawane pytania
Co to jest PagedAttention i vLLM?
PagedAttention manages transformer key/value caches using fixed-size blocks mapped from logical token positions. This reduces cache-allocation waste and supports sharing, while vLLM’s actual throughput depends on the workload and system.
Co przechowuje „pamięć podręczna KV” podczas generowania tekstu?
Pamięć podręczna KV przechowuje wektory kluczy i wartości dla każdego poprzedniego tokena, umożliwiając modelowi obsłużenie pełnego kontekstu bez konieczności ponownego obliczania go na każdym kroku.
Jaka koncepcja systemu operacyjnego zainspirowała PagedAttention?
PagedAttention zapożycza stronicowanie z pamięci wirtualnej: pamięć podręczna KV jest podzielona na strony o stałym rozmiarze, które mogą znajdować się w dowolnym miejscu, mapowane za pomocą tabeli bloków.
Jaki problem z tradycyjną alokacją pamięci podręcznej KV rozwiązuje PagedAttention?
Rezerwowanie jednej dużej, ciągłej płyty na żądanie, o rozmiarze dostosowanym do maksymalnej długości, powodowało marnowanie ogromnych ilości pamięci GPU. Stronicowanie przydziela małe bloki na żądanie, ograniczając straty.
W jaki sposób PagedAttention pozwala wielu wynikom współdzielić pamięć dla wspólnego monitu?
Identyczne przedrostki (wspólne podpowiedzi lub gałęzie wyszukiwania wiązki) odnoszą się do tych samych fizycznych stron KV, kopiując tylko wtedy, gdy gałąź się rozchodzi.
Gdzie pierwotnie opracowano vLLM i PagedAttention?
vLLM i algorytm PagedAttention wyszły z Uniwersytetu Kalifornijskiego w Berkeley w artykule z 2023 roku i szybko stały się szeroko stosowanym silnikiem obsługującym typu open source.
Ucz się dalej
Powiązane przewodniki
Wybrano więcej przewodników na ten temat