การตรวจสอบข้าม
การตรวจสอบข้ามเป็นเทคนิคการสุ่มตัวอย่างใหม่เพื่อประเมินว่าแบบจำลองจะสรุปข้อมูลทั่วไปกับข้อมูลที่มองไม่เห็นได้ดีเพียงใด
ภาพรวม
It makes better use of limited data and gives a more reliable performance estimate than a single train/test split.
เจาะลึก
การแยกขบวนรถไฟ/การทดสอบเดี่ยวนั้นเปราะบาง คะแนนที่คุณได้รับขึ้นอยู่กับว่าแถวใดที่เกิดขึ้นในชุดทดสอบ การตรวจสอบข้ามจะแก้ไขปัญหานี้โดยการหมุนเวียนบทบาทของชุดทดสอบ ในการตรวจสอบความถูกต้องข้ามแบบ k-fold คุณแบ่งข้อมูลออกเป็น k เท่าเท่าๆ กัน ฝึก k-1 ของพวกมัน ประเมินผลบน fold-out และทำซ้ำ k ครั้ง เพื่อให้ทุกแถวได้รับการทดสอบเพียงครั้งเดียว การหาค่าเฉลี่ยของคะแนน k จะทำให้ได้ค่าประมาณที่มีเสถียรภาพมากขึ้น บวกกับการวัดความแปรปรวนด้วย ตัวเลือกทั่วไปคือ 5 หรือ 10 เท่า ตัวแปรต่างๆ ได้แก่ stratified k-fold (การรักษาสัดส่วนคลาสสำหรับข้อมูลที่ไม่สมดุล) การละทิ้งหนึ่ง (k เท่ากับจำนวนตัวอย่าง) และการแยกอนุกรมเวลาที่ไม่เคยฝึกฝนเกี่ยวกับอนาคตเพื่อทำนายอดีต
ข้อมูลเชิงลึกทางเทคนิค
การตรวจสอบความถูกต้องข้ามมีประสิทธิภาพมากที่สุดสำหรับการเลือกแบบจำลองและการปรับแต่งไฮเปอร์พารามิเตอร์: คุณเปรียบเทียบการกำหนดค่าด้วยคะแนนการตรวจสอบโดยเฉลี่ย แทนที่จะปรับมากเกินไปจนเหลือเพียงการแยกเดียว ข้อผิดพลาดที่สำคัญคือการรั่วไหลของข้อมูล การประมวลผลล่วงหน้าใดๆ ที่ 'เห็น' ชุดข้อมูลทั้งหมด (การปรับขนาด การเลือกคุณลักษณะ การใส่ข้อมูล) จะต้องพอดีในแต่ละพับ ไม่ใช่ก่อนที่จะแยก มิฉะนั้นการประมาณค่าของคุณจะมีอคติในแง่ดี การตรวจสอบความถูกต้องข้ามแบบซ้อนจะแยกการปรับแต่งจากการประเมินขั้นสุดท้ายเพื่อหลีกเลี่ยงการรั่วไหลนี้
ผลกระทบเชิงกลยุทธ์
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
ต้นทุนและงบประมาณ
คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
ทีมงานและขั้นตอนการทำงาน
ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
อนาคตของการตรวจสอบข้าม
เมื่อชุดข้อมูลและแบบจำลองเติบโตขึ้น การรัน k รอบการฝึกอบรมเต็มรูปแบบจึงมีราคาแพง ดังนั้นผู้ปฏิบัติงานจึงนิยมชุดการตรวจสอบความถูกต้องแบบจัดขึ้นขนาดใหญ่ชุดเดียวสำหรับการเรียนรู้เชิงลึกมากขึ้น ขณะเดียวกันก็สงวนการตรวจสอบข้ามสำหรับชุดข้อมูลขนาดเล็กหรือแบบตาราง ML และเครื่องมืออัตโนมัติ เช่น GridSearchCV และ Optuna ของ scikit-learn จะนำการตรวจสอบความถูกต้องข้ามไปใช้ในการค้นหาไฮเปอร์พารามิเตอร์ตามค่าเริ่มต้น การวิจัยยังคงดำเนินต่อไปเกี่ยวกับการประมาณที่ถูกกว่า ไปป์ไลน์ที่ป้องกันการรั่วไหล และการตรวจสอบความถูกต้องที่เหมาะสมสำหรับข้อมูลที่จัดกลุ่ม ลำดับชั้น และขึ้นอยู่กับเวลา
การใช้งานจริงในโลกแห่งความเป็นจริง
ใช้การตรวจสอบความถูกต้องข้าม 5 เท่าเพื่อเปรียบเทียบการถดถอยโลจิสติก ฟอเรสต์แบบสุ่ม และการเพิ่มระดับความลาดชัน ก่อนที่จะตัดสินใจใช้แบบจำลองเดียว
การใช้ stratified k-fold กับชุดข้อมูลการตรวจจับการฉ้อโกงที่ไม่สมดุล เพื่อให้แต่ละ fold คงสัดส่วนระดับหายากที่เท่ากันโดยประมาณ
เรียกใช้ GridSearchCV หรือ RandomizedSearchCV ซึ่งจะตรวจสอบข้ามชุดค่าผสมของไฮเปอร์พารามิเตอร์ทั้งหมดเพื่อเลือกการตั้งค่าที่ดีที่สุด
การใช้การตรวจสอบข้ามอนุกรมเวลา (แบบต่อเนื่อง/แบบส่งต่อ) เพื่อประเมินสต็อกหรือนักพยากรณ์อุปสงค์โดยไม่ต้องฝึกอบรมเกี่ยวกับข้อมูลในอนาคต
ความเสี่ยงและรั้ว
แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
แผนงานการดำเนินงาน
เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
เอกสารที่ Cross-Validation ช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Cross-Validation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
Cross-Encoder และ Bi-Encoder
คำถามที่พบบ่อย
What is Cross-Validation?
การตรวจสอบข้ามเป็นเทคนิคการสุ่มตัวอย่างใหม่เพื่อประเมินว่าแบบจำลองจะสรุปข้อมูลทั่วไปกับข้อมูลที่มองไม่เห็นได้ดีเพียงใด ใช้ข้อมูลที่จำกัดได้ดีกว่าและให้การประมาณประสิทธิภาพที่เชื่อถือได้มากกว่าการแยกขบวน/การทดสอบเดี่ยว
ในการตรวจสอบความถูกต้องข้าม k-fold แบบมาตรฐาน แต่ละจุดข้อมูลใช้ในการทดสอบกี่ครั้ง
แต่ละพับทำหน้าที่เป็นชุดการทดสอบหนึ่งครั้งตลอด k รอบ ดังนั้นทุกตัวอย่างจึงได้รับการทดสอบครั้งเดียวและฝึกกับส่วนที่เหลือ
ข้อได้เปรียบหลักของการตรวจสอบความถูกต้องข้าม k-fold บนการแยกรถไฟ/การทดสอบเดี่ยวคืออะไร
ด้วยการหาค่าเฉลี่ยหลายเท่า การตรวจสอบความถูกต้องข้ามจะช่วยลดความแปรปรวนของการประมาณประสิทธิภาพ เมื่อเทียบกับการอาศัยการแยกส่วนใดๆ ก็ตาม
เหตุใดการตรวจสอบข้าม k-fold แบบธรรมดาจึงไม่เหมาะสมสำหรับการพยากรณ์อนุกรมเวลา
การสับเปลี่ยนข้อมูลที่เรียงลำดับตามเวลาจะทำให้อนาคตรั่วไหลในการฝึกอบรม ดังนั้น CV อนุกรมเวลาจึงใช้การแยกแบบส่งต่อที่ฝึกฝนเฉพาะการสังเกตที่ผ่านมาเท่านั้น