AI szószedet kifejezés
Mi az a SentencePiece?
Meghatározás
Nyelv-agnosztikus tokenizáló, amely közvetlenül a nyers szövegből tanulja meg az alszavak egységeit anélkül, hogy szóközönként felosztásra kerülne.
AI szószedet kifejezés
Nyelv-agnosztikus tokenizáló, amely közvetlenül a nyers szövegből tanulja meg az alszavak egységeit anélkül, hogy szóközönként felosztásra kerülne.