What is BPE (Byte Pair Encoding)? Definition | AI Understanding

ፍቺ

የንዑስ ቃል ማስመሰያ አልጎሪዝም በጣም ተደጋጋሚ የቁምፊ ጥንዶችን እንደገና ጥቅም ላይ ሊውሉ ወደሚችሉ ቶከኖች የሚያዋህድ።

ተዛማጅ ውሎች

ማስመሰያ

ለሞዴል ግቤት ጽሑፍን ወደ ቶከኖች የመከፋፈል ሂደት።

OCR (የጨረር ቁምፊ እውቅና)

ጽሑፍን በምስል የሚቀይር ወይም በማሽን የሚነበብ ጽሑፍን የሚቃኝ ቴክኖሎጂ።

Top-k ናሙና

ከ k ብቻ ናሙናዎችን የሚያመለክት የመግለጫ ስልት ቀጣይ ቶከኖች።

የኋላ መስፋፋት

የትንበያ ስህተቶችን በኔትወርኩ ወደ ኋላ በማሰራጨት የሞዴል ክብደትን የሚያዘምን ዋናው የስልጠና ስልተ ቀመር።

ቢ-ኢንኮደር

መጠይቆችን እና ሰነዶችን ወደ ተለያዩ ቬክተሮች የሚያስገባ ሞዴል በፍጥነት በመጠን ሊነጻጸሩ ይችላሉ።

የጨረር ፍለጋ

ከፍተኛ እድል ያላቸውን ውጤቶች ለማግኘት በእያንዳንዱ ደረጃ ላይ የበርካታ እጩዎችን ቅደም ተከተሎች የሚያቆይ ስልተ-ቀመር።

በነጻ መመሪያዎቻችን ውስጥ የበለጠ ይረዱ

ByteDance Doubao CycleGAN Unpaired Translation Tokenizer-Free Byte-Level Models Instant-NGP Hash Encoding

ተመልከት

Sliding Window Attention SentencePiece ALiBi ANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSW Positional Encoding Reranker

ሙሉውን AI መዝገበ ቃላት ያስሱ ሁሉንም ነፃ AI መመሪያዎችን ያስሱ