ต่อไปคำแนะนำต่อไป
การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์
เทคนิค
คู่มือทางเทคนิค
การเรียนรู้การเสริมกำลังแบบผกผัน (IRL) พลิกกลับ RL มาตรฐาน: แทนที่จะได้รับรางวัลและค้นหานโยบาย แต่จะเฝ้าดูพฤติกรรมของผู้เชี่ยวชาญและอนุมานฟังก์ชันรางวัลที่ซ่อนอยู่ซึ่งอธิบายไว้
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
สิ่งนี้สำคัญเนื่องจากรางวัลที่กู้คืนจะสรุปกับสถานการณ์ใหม่ได้ดีกว่าการกระทำที่คัดลอกโดยตรง
การเรียนรู้การเสริมกำลังแบบผกผันถามว่า: ผู้เชี่ยวชาญจะต้องบรรลุเป้าหมายอะไรจึงจะประพฤติตนตามที่พวกเขาทำ? จากการสาธิต IRL จะกู้คืนฟังก์ชันการให้รางวัลซึ่งพฤติกรรมนั้นดูเหมาะสมที่สุด (หรือใกล้เคียงที่สุด) จากนั้นใช้ RL มาตรฐานเพื่อรับนโยบาย แรงจูงใจคือการทำให้เป็นภาพรวม — รางวัลที่ได้เรียนรู้จะจับว่าทำไมเบื้องหลังพฤติกรรม ดังนั้นตัวแทนจึงสามารถดำเนินการอย่างสมเหตุสมผลในสภาวะที่ไม่เคยครอบคลุมถึงการสาธิต ซึ่งแตกต่างจากการโคลนพฤติกรรมที่เลียนแบบการกระทำเท่านั้น โดยพื้นฐานแล้วปัญหานี้ไม่ถูกต้อง: ฟังก์ชันการให้รางวัลจำนวนมากอธิบายพฤติกรรมเดียวกัน รวมถึงพฤติกรรมเล็กน้อยด้วย แนวทางหลักแก้ไขความคลุมเครือนี้ รวมถึงวิธีการที่มีอัตรากำไรสูงสุดที่ต้องการให้ผลตอบแทนที่ทำให้ผู้เชี่ยวชาญดีที่สุดอย่างชัดเจน และ IRL เอนโทรปีสูงสุด ซึ่งเลือกการกระจายรางวัลที่มีข้อผูกมัดน้อยที่สุดที่สอดคล้องกับข้อมูล
ยานพาหนะที่ขับเคลื่อนอัตโนมัติโดยอนุมานถึงความชอบในการขับขี่ (ความนุ่มนวล ความปลอดภัย) จากผู้ขับขี่
หุ่นยนต์เรียนรู้วัตถุประสงค์ของงานจากการสาธิตของมนุษย์เพื่อสรุปเป็นเค้าโครงใหม่
การสร้างแบบจำลองการเคลื่อนไหวของคนเดินเท้าหรือสัตว์โดยการกู้คืนเป้าหมายเบื้องหลังวิถีที่สังเกตได้
การอนุมานรางวัลสำหรับการจัดตำแหน่ง AI การเรียนรู้คุณค่าของมนุษย์จากตัวเลือกที่แสดงให้เห็น
IRL สนับสนุนการเรียนรู้ด้วยรางวัลเพื่อการจัดตำแหน่งมากขึ้นเรื่อยๆ: แทนที่จะให้รางวัลจากการเขียนโค้ดด้วยมือของมนุษย์ ระบบจะอนุมานสิ่งที่ผู้คนเห็นคุณค่าจากพฤติกรรมและข้อเสนอแนะ คาดหวังการเชื่อมโยงที่แน่นแฟ้นยิ่งขึ้นกับการเรียนรู้แบบเสริมกำลังจากความคิดเห็นของมนุษย์และการเรียนรู้ตามความชอบ ปรับขนาดตามการตั้งค่ารูปแบบภาษาและหุ่นยนต์ การวิจัยกำลังผลักดันไปสู่การได้รับผลตอบแทนจากวิดีโอดิบและการสังเกตบางส่วน และไปสู่รางวัลที่สามารถระบุตัวตนได้ ซึ่งต่อต้านปัญหาการแฮ็กรางวัลและความคลุมเครือที่รบกวนวิธีการในปัจจุบัน
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การเรียนรู้การเสริมกำลังแบบผกผัน (IRL) พลิกกลับ RL มาตรฐาน: แทนที่จะได้รับรางวัลและค้นหานโยบาย แต่จะเฝ้าดูพฤติกรรมของผู้เชี่ยวชาญและอนุมานฟังก์ชันรางวัลที่ซ่อนอยู่ซึ่งอธิบายไว้ เรื่องนี้สำคัญเนื่องจากรางวัลที่กู้คืนจะสรุปกับสถานการณ์ใหม่ได้ดีกว่าการกระทำที่คัดลอกโดยตรง
IRL จะใช้การสาธิตเป็นข้อมูลป้อนเข้าและอนุมานฟังก์ชันการให้รางวัลพื้นฐานซึ่งพฤติกรรมของผู้เชี่ยวชาญจะดูเหมาะสมที่สุด
ฟังก์ชันการให้รางวัลหลายรายการ รวมถึงการให้รางวัลแบบศูนย์ทั้งหมดเล็กน้อย สามารถทำให้พฤติกรรมที่สังเกตได้เหมาะสมที่สุด ดังนั้น รางวัลจึงไม่ได้ถูกกำหนดโดยการสาธิตเพียงอย่างเดียว
ฟังก์ชันการให้รางวัลจะเข้ารหัสว่าเหตุใดผู้เชี่ยวชาญจึงดำเนินการเช่นนั้น โดยปล่อยให้นโยบายที่ได้รับทำงานอย่างสมเหตุสมผลในรัฐใหม่ ในขณะที่การโคลนนิ่งจะคัดลอกเฉพาะการดำเนินการที่เห็นในข้อมูลเท่านั้น
Max-entropy IRL ถือว่าวิถีการให้รางวัลที่สูงกว่ามีแนวโน้มมากกว่าแบบทวีคูณ โดยให้วัตถุประสงค์เฉพาะที่ยอมรับผู้เชี่ยวชาญที่ไม่สมบูรณ์และมีเสียงดัง
IRL จะสร้างรางวัล ซึ่งจะถูกส่งไปยังอัลกอริธึม RL ปกติเพื่อคำนวณนโยบายที่เหมาะสมที่สุดภายใต้วัตถุประสงค์ที่อนุมานนั้น
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การเรียนรู้การเสริมกำลังจากผลตอบรับของมนุษย์
เทคนิค