التاليالدليل التالي
التحقق من العينات المضاربة
لغة الذكاء الاصطناعي
دليل اللغة AI
أخذ العينات النموذجية
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
الغوص العميق
When a language model predicts the next token, it produces a probability distribution over thousands of options. Greedy and top-k methods favor high-probability tokens, which can make text repetitive and bland. Typical sampling, introduced by Meister and colleagues in 2022, takes a different angle rooted in information theory. The model computes its expected information content (the entropy of the distribution). Tokens are then scored by how far their own surprisal sits from that expectation. Typical sampling keeps the set of tokens whose surprisal is closest to the average until their combined probability reaches a threshold, then samples from that set. The method favors tokens whose surprisal is closer to the distribution’s expected surprisal. It does not guarantee human-like wording, factual correctness, or coherence; evaluate outputs on the intended task.
التنفيذ في العالم الحقيقي
توليد الخيال أو الشعر حيث ينتج فك التشفير الجشع نثرًا مملًا ومتكررًا ويريد الكتاب المزيد من التنوع الطبيعي.
تعزيز ردود الدردشة الآلية التي تتجنب الصياغة الآلية والصيغية مع الحفاظ على التماسك والموضوع.
متوفر كعلامة فك تشفير (typical_p) في Hugging Face Transformers للمطورين الذين يقومون بضبط مخرجات النماذج مفتوحة المصدر.
يُستخدم في أوقات تشغيل LLM المحلية مثل llama.cpp وtext-generation-webui كبديل لـ top-p للحصول على نص أكثر ثراءً وأقل تدهورًا.
مستقبل أخذ العينات النموذجية
أصبح أخذ العينات النموذجية خيارًا قياسيًا إلى جانب top-p وtop-k في مجموعات الاستدلال مفتوحة المصدر مثل llama.cpp وHugging Face Transformers. توقع استخدامًا متزايدًا في الكتابة الإبداعية والحوار وتوليد القصص حيث يؤدي فك التشفير الآمن للغاية إلى الإضرار بالجودة. يقوم الباحثون بمزجها مع عتبات التكيف التي تتغير حسب السياق ودمجها مع عقوبات التكرار. مع نضوج فك التشفير النظري للمعلومات، قد يؤدي أخذ العينات النموذجية إلى إعلام الطرق التلقائية المدركة للتوزيع والتي تتخلى عن إعدادات درجة الحرارة المضبوطة يدويًا.
وضعها موضع التنفيذ
لماذا يهم
- السرعة والحجم. يمكن أن تتحرك مسارات عمل اللغة بشكل أسرع دون التضحية بالاتساق.
- الوصول والوصول. فهو يوسع الوصول عبر اللغات وأنماط الاتصال.
- قرارات أوضح. يمكن للفرق قضاء المزيد من الوقت في الحكم بينما تتعامل الأتمتة مع التكرار.
احترس من
- يمكن للحقائق المهلوسة إدخال التقارير أو تدفقات الدعم أو مخرجات البحث بهدوء.
- يمكن أن تؤدي الحساسية السريعة إلى نتائج غير متناسقة عبر الطلبات المماثلة.
- قد يتم كشف البيانات النصية الحساسة إذا كانت عناصر التحكم في الوصول ضعيفة.
الخطوات التالية
- حدد تنسيق الإخراج والنغمة ومعايير الجودة قبل بدء التشغيل.
- استجابات أرضية من مصادر موثوقة عندما تكون الدقة مهمة.
- احتفظ بنقطة تفتيش للمراجعة البشرية للمخرجات عالية المخاطر.
- تتبع أنماط الفشل وأعد تدريب المطالبات أو سير العمل بانتظام.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Typical Sampling quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is Typical Sampling?
Typical sampling ranks candidate tokens by how close their surprisal is to the model distribution’s expected surprisal (entropy), then samples from a set reaching a chosen probability mass. This is a decoding heuristic, not a guarantee of human-like, factual, or coherent output.
ما هي الكمية الأساسية التي تقارن بها العينات النموذجية كل رمز مميز مرشح؟
يقيس أخذ العينات النموذجي مدى بعد مفاجأة كل رمز عن إنتروبيا التوزيع، ومحتوى المعلومات المتوقع، مع الاحتفاظ بالرموز المميزة التي تكون مفاجأتها أقرب إلى هذا المتوسط.
كيف يتعامل أخذ العينات النموذجي مع الرمز المميز الأكثر احتمالاً؟
يحتوي الرمز المميز ذو الاحتمالية العالية جدًا على مفاجأة منخفضة جدًا، والتي يمكن أن تكون بعيدة عن المتوسط، لذا فإن أخذ العينات النموذجية قد يتركها خارج المجموعة المرشحة لصالح الرموز المميزة "النموذجية" أكثر.
أي فكرة عن اللغة البشرية كانت مدفوعة بأخذ العينات النموذجية؟
تعتمد هذه الطريقة على فرضية مفادها أن اللغة الطبيعية تظل قريبة من معدل معلومات موحد، لذا فهي تفضل الرموز المميزة التي تحمل مفاجآت قريبة من المتوسط.
ماذا تفعل المعلمة تاو في التحكم في أخذ العينات النموذجية؟
يحدد تاو الاحتمالية التراكمية المستهدفة؛ تتم إضافة الرموز المميزة الأقرب إلى الإنتروبيا حتى يصل احتمالها المشترك إلى تاو، مما يحدد المجموعة التي سيتم أخذ العينة منها.
Compared with greedy decoding, what does typical sampling try to change?
Typical sampling uses surprisal relative to entropy rather than simply choosing the most likely token.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع