Termin ze słownika AI

Czym jest Kara za powtórzenie?

Definicja

Ustawienie dekodowania, które zmniejsza prawdopodobieństwo żetonów już wyprodukowanych przez model w celu ograniczenia pętli.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Kara za częstotliwośćUstawienie dekodowania, które zmniejsza prawdopodobieństwo pojawienia się tokenów proporcjonalnie do tego, jak często pojawiały się one do tej pory.Kara za obecnośćUstawienie dekodowania, które zmniejsza prawdopodobieństwo pojawienia się tokenów w ogóle, zachęcając do nowych tematów.Próbkowanie z góry kStrategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.Strzeżone dekodowanieStrategia generowania, która ogranicza tokeny wyjściowe do prawidłowych struktur lub wyborów zgodnych z zasadami.Dekodowanie spekulatywneMetoda przyspieszania wnioskowania, w której model o małej wersji roboczej proponuje tokeny, które większy model weryfikuje równolegle.Uwaga na przesuwane oknoWzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Dowiedz się więcej z naszych bezpłatnych przewodników

Repetition Penalty and Decoding ControlsAI Flashcards and Spaced Repetition

Zobacz także

Beam SearchParent-Document RetrievalMulti-Query RetrievalRAG-FusionSelf-PlayPost-trainingMid-trainingWatermarking