การหยุดก่อนเวลา
การหยุดก่อนกำหนดเป็นเทคนิคการทำให้เป็นมาตรฐานซึ่งจะหยุดการฝึกโมเดล ในขณะที่ประสิทธิภาพของข้อมูลการตรวจสอบความถูกต้องที่ค้างอยู่หยุดการปรับปรุง
ภาพรวม
It prevents wasted compute and overfitting in one simple rule.
เจาะลึก
เมื่อคุณฝึกโครงข่ายประสาทเทียม ข้อผิดพลาดในชุดการฝึกฝนจะลดลงเรื่อยๆ แต่ ณ จุดหนึ่ง โมเดลจะเริ่มจดจำสัญญาณรบกวนมากกว่ารูปแบบการเรียนรู้ ข้อผิดพลาดในการตรวจสอบความถูกต้องเป็นไปตามรูปตัว U: ข้อผิดพลาดตก ถึงจุดต่ำสุด แล้วไต่ขึ้นตามการตั้งค่าที่มากเกินไป การหยุดก่อนกำหนดจะคอยดูตัวชี้วัดการตรวจสอบความถูกต้อง (การสูญเสีย ความแม่นยำ F1) หลังจากแต่ละยุค และหยุดเมื่อล้มเหลวในการปรับปรุงตามจำนวนยุคที่กำหนดไว้ เรียกว่าความอดทน สิ่งสำคัญที่สุดคือ คุณต้องรักษาน้ำหนักจากยุคที่ดีที่สุด ไม่ใช่ยุคสุดท้าย เป็นหนึ่งในรูปแบบที่ถูกที่สุดของการทำให้เป็นมาตรฐาน เนื่องจากไม่ต้องมีเงื่อนไขการลงโทษเพิ่มเติม และจำกัดน้ำหนักที่ลอยไปจากการเริ่มต้นได้อย่างมีประสิทธิภาพ ซึ่งคล้ายกับการทำให้เป็นมาตรฐานของ L2
ข้อมูลเชิงลึกทางเทคนิค
การดำเนินการติดตามคะแนนการตรวจสอบที่ดีที่สุดและตัวนับ ในแต่ละยุค หากหน่วยเมตริกปรับปรุงเกินเกณฑ์ min_delta คุณจะบันทึกจุดตรวจสอบและรีเซ็ตตัวนับ มิฉะนั้นคุณจะเพิ่มขึ้น เมื่อเคาน์เตอร์ถึงขีดจำกัดความอดทน การฝึกจะหยุดลงและจุดตรวจที่ดีที่สุดจะกลับมาอีกครั้ง ความอดทนแลกความแข็งแกร่งกับเส้นโค้งการตรวจสอบที่มีเสียงดังสำหรับเวลาการฝึกทั้งหมด และโดยปกติจะได้รับการปรับแต่งควบคู่ไปกับอัตราการเรียนรู้และขนาดชุดงาน
ผลกระทบเชิงกลยุทธ์
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
ต้นทุนและงบประมาณ
คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
ทีมงานและขั้นตอนการทำงาน
ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
อนาคตของการหยุดก่อนกำหนด
การหยุดก่อนกำหนดยังคงเป็นค่าเริ่มต้นในเกือบทุกขั้นตอนการฝึกอบรม แต่บทบาทของมันกำลังเปลี่ยนไป ด้วยโมเดลขนาดใหญ่มากที่ได้รับการฝึกอบรมสำหรับยุคเดียวบนคลังข้อมูลขนาดใหญ่ การหยุดตามยุคคลาสสิกจะถูกแทนที่ด้วยการตรวจสอบงบประมาณโทเค็นและกำหนดการอัตราการเรียนรู้ คาดหวังการผสานรวมที่เข้มงวดมากขึ้นกับการค้นหาไฮเปอร์พารามิเตอร์อัตโนมัติ เกณฑ์หลายเมตริก และตัวกำหนดเวลาที่คำนึงถึงงบประมาณ ซึ่งจะตัดสินใจว่าเมื่อใดที่การฝึกอบรมอย่างต่อเนื่องจะไม่ปรับต้นทุนการประมวลผลและคาร์บอนอีกต่อไป
การใช้งานจริงในโลกแห่งความเป็นจริง
Keras EarlyStopping โทรกลับด้วยความอดทน = 10 การตรวจสอบ val_loss และ Restore_best_weights = True บนตัวแยกประเภทรูปภาพ
การหยุดต้นไม้ที่มีการไล่ระดับสี (XGBoost Early_stopping_rounds) เมื่อตรวจสอบความถูกต้องของที่ราบสูง AUC เพื่อหลีกเลี่ยงการเพิ่มต้นไม้ที่ไร้ประโยชน์
หยุดการปรับแต่งแบบจำลองความรู้สึกของ BERT อย่างละเอียดเมื่อการตรวจสอบความถูกต้อง F1 หยุดเพิ่มขึ้น ซึ่งช่วยประหยัดเวลาของ GPU
คู่แข่งของ Kaggle ที่ใช้การตรวจสอบความถูกต้องเพื่อหยุดก่อนเวลา และเลือกจุดตรวจสอบที่สูญเสียบันทึกน้อยที่สุด
ความเสี่ยงและรั้ว
แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
แผนงานการดำเนินงาน
เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
เอกสารที่การหยุดก่อนกำหนดช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Early Stopping quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
AI ในการเตือนภัยล่วงหน้าแผ่นดินไหว
คำถามที่พบบ่อย
What is Early Stopping?
การหยุดก่อนกำหนดเป็นเทคนิคการทำให้เป็นมาตรฐานซึ่งจะหยุดการฝึกโมเดล ในขณะที่ประสิทธิภาพของข้อมูลการตรวจสอบความถูกต้องที่ค้างอยู่หยุดการปรับปรุง ช่วยป้องกันการสูญเสียการประมวลผลและการติดตั้งมากเกินไปในกฎง่ายๆ เพียงหนึ่งเดียว
การหยุดก่อนกำหนดจะติดตามสัญญาณอะไรเป็นหลักเพื่อตัดสินใจว่าจะหยุดเมื่อใด
การหยุดก่อนกำหนดจะเป็นการเฝ้าดูตัวชี้วัดการตรวจสอบความถูกต้องที่ถูกระงับ เนื่องจากการสูญเสียการฝึกจะลดลงแม้ว่าโมเดลจะพอดีเกินไปก็ตาม
พารามิเตอร์ 'ความอดทน' ควบคุมอะไร?
ความอดทนคือจำนวนยุคที่ได้รับอนุญาตโดยไม่มีการปรับปรุงใดๆ ก่อนที่การฝึกจะหยุดลง และทำให้เส้นโค้งการตรวจสอบที่มีเสียงดังราบรื่นขึ้น
หลังจากการหยุดกระตุ้นตั้งแต่เนิ่นๆ คุณควรรักษาตุ้มน้ำหนักใดไว้
คุณคืนค่าจุดตรวจสอบจากยุคที่มีคะแนนการตรวจสอบที่ดีที่สุด ไม่ใช่ยุคสุดท้ายซึ่งอาจมีมากเกินไปแล้ว
เหตุใดการหยุดก่อนกำหนดจึงถือเป็นรูปแบบหนึ่งของการทำให้เป็นมาตรฐาน?
การหยุดตั้งแต่เนิ่นๆ จะทำให้ตุ้มน้ำหนักเข้าใกล้การเริ่มต้นมากขึ้น ซึ่งมีผลในการปรับให้เป็นปกติเทียบได้กับน้ำหนักที่ลดลง
โดยทั่วไปเกณฑ์ 'min_delta' ระบุอะไร
min_delta กำหนดว่าการปรับปรุงจะต้องมีขนาดใหญ่เพียงใดเพื่อรีเซ็ตตัวนับความอดทน ป้องกันไม่ให้ความผันผวนเล็กๆ น้อยๆ ดูเหมือนเป็นความก้าวหน้าที่แท้จริง