co je BPE (Kódování bajtových párů)?

Proces rozdělení textu na tokeny pro zadání modelu.

Technologie, která převádí text v obrázcích nebo skenech na strojově čitelný text.

Strategie dekódování, která vzorkuje pouze z k nejpravděpodobnějších dalších tokenů.

Základní trénovací algoritmus, který aktualizuje váhy modelu šířením chyb predikce zpět po síti.

Model, který kóduje dotazy a dokumenty do samostatných vektorů, takže je lze rychle porovnávat v měřítku.

Dekódovací algoritmus, který v každém kroku uchovává několik nejlepších kandidátských sekvencí, aby našel výstupy s vyšší pravděpodobností.