এআই শব্দকোষের মেয়াদ

BPE (বাইট পেয়ার এনকোডিং) কী?

সংজ্ঞা

একটি সাবওয়ার্ড টোকেনাইজেশন অ্যালগরিদম যা সর্বাধিক ঘন ঘন অক্ষর জোড়াকে পুনরায় ব্যবহারযোগ্য টোকেনে একত্রিত করে।

সম্পূর্ণ AI শব্দকোষ ব্রাউজ করুনসমস্ত বিনামূল্যের এআই গাইড এক্সপ্লোর করুন

সম্পর্কিত পদ

টোকেনাইজেশনমডেল ইনপুটের জন্য টোকেনে পাঠ্য বিভক্ত করার প্রক্রিয়া।OCR (অপটিক্যাল ক্যারেক্টার রিকগনিশন)প্রযুক্তি যা চিত্রের পাঠ্যকে রূপান্তর করে বা স্ক্যান করে মেশিন-পাঠযোগ্য পাঠ্যে।টপ-কে স্যাম্পলিংএকটি ডিকোডিং কৌশল যা শুধুমাত্র k থেকে সম্ভবত পরবর্তী টোকেনগুলির নমুনা নেয়৷ব্যাকপ্রপাগেশনমূল প্রশিক্ষণ অ্যালগরিদম যা নেটওয়ার্কের মাধ্যমে পূর্বাভাস ত্রুটিগুলিকে পিছনের দিকে প্রচার করে মডেল ওজন আপডেট করে।দ্বি-এনকোডারএকটি মডেল যা প্রশ্ন এবং নথিগুলিকে পৃথক ভেক্টরে এনকোড করে যাতে সেগুলি দ্রুত স্কেলে তুলনা করা যায়।মরীচি অনুসন্ধানএকটি ডিকোডিং অ্যালগরিদম যা উচ্চ-সম্ভাব্যতার আউটপুটগুলি খুঁজে পেতে প্রতিটি ধাপে শীর্ষ কয়েকটি প্রার্থীর ক্রম রাখে।

আমাদের বিনামূল্যের গাইডে আরও জানুন

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

আরও দেখুন

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker