Глоссарий терминов искусственного интеллекта

Что такое Токенизация?

Определение

Процесс разделения текста на токены для ввода модели.

Контекстное окноМаксимальное количество входных токенов, которые языковая модель может обработать одновременно.BPE (кодирование пары байтов)Алгоритм токенизации подслов, который объединяет наиболее часто встречающиеся пары символов в токены многократного использования.КодерКомпонент модели, который преобразует входные данные в скрытые представления.Мультимодальная модельМодель, которая может обрабатывать или генерировать несколько типов данных, таких как текст, изображение и аудио.OCR (оптическое распознавание символов)Технология, которая преобразует текст на изображениях или отсканированных изображениях в машиночитаемый текст.ПредложениеЧастьНезависимый от языка токенизатор, который изучает единицы подслова непосредственно из необработанного текста без предварительного разделения на пробелы.

Узнайте больше в наших бесплатных руководствах.

См. также