Термин от речника на AI

Какво е BPE (кодиране на двойки байтове)?

Определение

Алгоритъм за токенизиране на поддуми, който обединява най-честите двойки знаци в токени за многократна употреба.

Разгледайте пълния AI речникРазгледайте всички безплатни ръководства за AI

Свързани термини

ТокенизацияПроцесът на разделяне на текст на токени за въвеждане на модел.OCR (оптично разпознаване на символи)Технология, която преобразува текст в изображения или сканиране в машинно четим текст.Вземане на проби от Top-kСтратегия за декодиране, която взема проби само от k най-вероятните следващи токена.Обратно разпространениеОсновният алгоритъм за обучение, който актуализира теглата на модела чрез разпространение на грешките при прогнозиране назад през мрежата.Би-енкодерМодел, който кодира заявки и документи в отделни вектори, така че да могат да се сравняват бързо в мащаб.Търсене с лъчАлгоритъм за декодиране, който запазва първите няколко кандидат последователности на всяка стъпка, за да намери изходни данни с по-висока вероятност.

Научете повече в нашите безплатни ръководства

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Вижте също

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker