الدليل الفني
س-التعلم
Q-Learning عبارة عن خوارزمية تعلم معززة تعلم الوكيل الإجراءات التي تؤتي ثمارها بشكل أفضل من خلال التعلم التدريجي لقيمة كل خطوة من خلال التجربة والخطأ.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
إنه مهم لأنه يمكنه العثور على السلوك الأمثل دون أن يتم إخباره بقواعد بيئته.
الغوص العميق
يتعلم Q-Learning وظيفة تسمى Q(s, a): المكافأة المتوقعة على المدى الطويل لاتخاذ الإجراء "a" في الحالة ثم التصرف على النحو الأمثل بعد ذلك. يبدأ الوكيل في عدم معرفة أي شيء، ويجرب الإجراءات، ويلاحظ المكافآت. بعد كل خطوة، تقوم بدفع تقدير قيمة Q الخاص بها نحو المكافأة التي حصلت عليها للتو بالإضافة إلى أفضل قيمة مستقبلية مخفضة تتوقعها من الحالة التالية. والأهم من ذلك، أنها "خارجة عن السياسة" و"خالية من النماذج": فهي قادرة على تعلم أفضل السياسات مع الاستكشاف العشوائي، ولا تحتاج أبدًا إلى نموذج لكيفية تحول العالم. بالنظر إلى الاستكشاف الكافي لكل زوج من حالات الفعل، فمن المؤكد أن قيم Q تتقارب مع القيم المثلى، وأفضل إجراء في أي حالة هو ببساطة الإجراء الذي يتمتع بأعلى Q.
التنفيذ في العالم الحقيقي
وكلاء ألعاب Atari (DQN التابع لـ DeepMind) يتعلمون لعب Breakout وPong مباشرةً من وحدات بكسل الشاشة
تحسين توقيت إشارات المرور عند التقاطعات لتقليل إجمالي وقت انتظار السيارة
يتنقل الروبوت عبر شبكة أو متاهة حيث يتعلم الروبوت أقصر مسار لزيادة المكافأة
قرارات التسعير والمخزون الديناميكية حيث يتعلم الوكيل الإجراءات التي تزيد من الربح على المدى الطويل
مستقبل Q-Learning
يكافح برنامج Q-Learning الجدولي الكلاسيكي عندما تكون الحالات كثيرة جدًا بحيث لا يمكن تخزينها في الجدول. الاتجاه السائد هو دمجها مع الشبكات العصبية، كما هو الحال في Deep Q-Networks (DQN)، والتي تقارب قيم Q من المدخلات الأولية مثل البكسل. تستمر الأبحاث في تحقيق الاستقرار من خلال إعادة تشغيل التجربة والشبكات المستهدفة والمتغيرات مثل Double DQN وQ-Learning التوزيعية التي تقلل من تحيز المبالغة في التقدير وتمثل توزيعات العائد الكامل بدلاً من المتوسطات الفردية.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the Q-Learning quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
ما هو التعلم Q؟
Q-Learning عبارة عن خوارزمية تعلم معززة تعلم الوكيل الإجراءات التي تؤتي ثمارها بشكل أفضل من خلال التعلم التدريجي لقيمة كل خطوة من خلال التجربة والخطأ. إنه مهم لأنه يمكنه العثور على السلوك الأمثل دون أن يتم إخباره بقواعد بيئته.
ماذا تمثل قيمة Q-Q(s,a)؟
تقوم Q(s,a) بتقدير إجمالي المكافأة المستقبلية المخصومة من اتخاذ الإجراء أ في الحالة والتصرف على النحو الأمثل بعد ذلك، وليس فقط المكافأة الفورية.
لماذا يوصف Q-Learning بأنه "خارج عن السياسة"؟
الحد الأقصى للإجراءات التالية يعني أن Q-Learning يتعلم قيمة السياسة المثالية الجشعة حتى أثناء استكشاف الوكيل بسياسة سلوك مختلفة.
في قاعدة التحديث، ما الذي يتحكم فيه عامل الخصم جاما؟
تقوم جاما (بين 0 و1) بخصم المكافآت المستقبلية؛ القيم القريبة من 1 تجعل العامل بعيد النظر، والقيم القريبة من 0 تجعله قصير النظر.
ما هو خطأ الفرق الزمني (TD) في Q-Learning؟
خطأ TD هو الفجوة بين تقدير الهدف الجديد (المكافأة بالإضافة إلى أفضل قيمة مستقبلية مخصومة) وتقدير Q القديم؛ التحديث يقلص هذه الفجوة.
لماذا يواجه Q-Learning الجدولي البسيط مشكلات كبيرة مثل ألعاب الفيديو من وحدات البكسل؟
يحتاج جدول البحث إلى إدخال لكل زوج من إجراءات الحالة، وهو أمر غير ممكن عندما يكون عدد الحالات بالمليارات، مما يحفز أدوات تقريب الشبكات العصبية مثل DQN.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع