ضبط الهمس

Whisper هو نموذج تشفير وفك ترميز تم تدريبه مسبقًا لمهام الكلام. يستمر الضبط الدقيق في التدريب على الصوت والنص المقترن حتى يتمكن النموذج من التعامل بشكل أفضل مع التوزيع المستهدف أو المفردات أو حالة اللغة. ولا يعني ذلك مجرد إضافة قاموس: يتم تحديث أوزان النموذج باستخدام الأمثلة، ويعتمد السلوك الناتج على البيانات والهدف وإعداد التدريب. ابدأ بأزواج النصوص الصوتية المتوافقة بعناية. يجب أن تتطابق النصوص مع المحتوى المنطوق وأن تستخدم اصطلاحات متسقة لعلامات الترقيم، وحالة الأحرف، والأرقام، وحالات عدم الطلاقة، والأحداث غير الكلامية. يجب فك تشفير الصوت وأخذ عينات منه كما هو متوقع بواسطة معالج النموذج. قم بإزالة التكرارات وتأكد من عدم اقتطاع المقاطع أو عدم تطابقها. قد يؤدي عدد قليل من أخطاء التسمية إلى توجيه التعلم بشكل خاطئ، خاصة في مجموعة التكيف الصغيرة. قم بالتقسيم حسب المتحدث أو المصدر أو الجلسة قبل التدريب بحيث لا تظهر العبارات ذات الصلة في كل من التدريب والتقييم. احتفظ بمجموعة التحقق من صحة قرارات نقاط التفتيش والمعلمات الفائقة ومجموعة اختبار منفصلة لإعداد التقارير النهائية. يعد معدل خطأ الكلمات أمرًا شائعًا في ASR، لكن خيارات التسوية تؤثر عليه؛ الإبلاغ عنهم. تقييم اللهجات المختلفة، وظروف الضوضاء، والمفردات المستهدفة، وليس فقط المتوسط ​​العام. تتطلب النماذج الكبيرة المزيد من الذاكرة والحوسبة وقد يكون من الصعب ضبطها على أجهزة محدودة. يمكن أن تكون نقاط التفتيش الأصغر عملية، ولكن حجم النموذج وحده لا يحدد الجودة. يمكن للطرق ذات المعلمات الفعالة مثل المحولات ذات الرتبة المنخفضة أن تقلل من المعلمات القابلة للتدريب عندما تكون مدعومة بالأدوات المختارة، ومع ذلك يجب التحقق من سلوكها وتوافقها. قارن مع التعديلات السريعة أو فك التشفير واسترجاع مصطلحات المجال قبل الالتزام بالتدريب. قد يؤدي الضبط الدقيق إلى تحسين المجال المستهدف مع تقليل الأداء في مكان آخر، خاصة إذا كانت بيانات التكيف ضيقة. راقب كلاً من مجموعات التحقق المستهدفة والعامة عندما تكون القدرات الواسعة مهمة. احفظ مرجع النموذج الأساسي، والمعالج، وتكوين التدريب، وإصدار مجموعة البيانات، ونقطة التفتيش النهائية حتى يمكن إعادة إنتاج النتيجة ومراجعتها.