Termin ze słownika AI

Czym jest Próbkowanie z góry k?

Definicja

Strategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Próbkowanie z góry p (jądro).Strategia dekodowania polegająca na próbkowaniu z najmniejszego zestawu tokenów, którego prawdopodobieństwa sumują się do p.Strzeżone dekodowanieStrategia generowania, która ogranicza tokeny wyjściowe do prawidłowych struktur lub wyborów zgodnych z zasadami.Nauka kilku strzałówUczenie się lub dostosowywanie zachowań na podstawie niewielkiej liczby przykładów.PerplexityMetryka modelu językowego mierząca stopień zaskoczenia modelu prawdziwymi następnymi tokenami.Dekodowanie spekulatywneMetoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.Pamięć podręczna KVPrzechowywane tensory klucza i wartości z poprzednich tokenów, które pozwalają transformatorom generować nowe tokeny bez ponownego obliczania uwagi z przeszłości.

Dowiedz się więcej z naszych bezpłatnych przewodników

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

Zobacz także

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt