Termín glosář AI

Co je BPE (Kódování bajtových párů)?

Definice

Algoritmus tokenizace podslov, který spojuje nejčastější dvojice znaků do znovu použitelných tokenů.