co je Tokenizace?

Maximální množství vstupních tokenů, které jazykový model dokáže zpracovat najednou.

Algoritmus tokenizace podslov, který spojuje nejčastější dvojice znaků do znovu použitelných tokenů.

Komponenta modelu, která transformuje vstup na latentní reprezentace.

Model, který dokáže zpracovat nebo generovat více typů dat, jako je text, obrázek a zvuk.

Technologie, která převádí text v obrázcích nebo skenech na strojově čitelný text.

Jazykově agnostický tokenizér, který se učí jednotky podslov přímo z nezpracovaného textu bez předběžného dělení na mezery.