Termin ze słownika AI

Czym jest BPE (kodowanie par bajtów)?

Definicja

Algorytm tokenizacji podsłów, który łączy najczęstsze pary znaków w tokeny wielokrotnego użytku.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

TokenizacjaProces dzielenia tekstu na tokeny na potrzeby wprowadzania danych modelu.OCR (optyczne rozpoznawanie znaków)Technologia konwertująca tekst na obrazach lub skanach na tekst do odczytu maszynowego.Próbkowanie z góry kStrategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.Propagacja wstecznaPodstawowy algorytm szkoleniowy, który aktualizuje wagi modeli poprzez propagację błędów przewidywań wstecz w sieci.Bi-enkoderModel, który koduje zapytania i dokumenty w osobne wektory, dzięki czemu można je szybko porównywać na dużą skalę.Wyszukiwanie wiązkiAlgorytm dekodowania, który utrzymuje kilka najlepszych sekwencji kandydujących na każdym kroku, aby znaleźć wyniki o większym prawdopodobieństwie.

Dowiedz się więcej z naszych bezpłatnych przewodników

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Zobacz także

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker