Apa itu Tanda?
Definisi
Sepotong teks yang diproses oleh model bahasa, seperti potongan kata atau simbol.
Istilah terkait
Pelajari lebih lanjut di panduan gratis kami
SentencePiece TokenizationWordPiece TokenizationTokenizer-Free Byte-Level ModelsSpeculative Streaming and Multi-Token Prediction