คู่มือพื้นฐาน

Overfitting และ Underfitting

Overfitting describes fitting training-specific patterns that generalize poorly, while underfitting describes failing to capture useful structure even in the training data.

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 3 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการโอเวอร์ฟิตติ้งและฟิตติ้งอันเดอร์ฟิตติ้ง
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

These are fitting diagnoses to investigate, not conclusions guaranteed by model size or one accuracy number.

เจาะลึก

A trained model should be evaluated beyond the examples used to fit it. Under comparable training and held-out conditions, high training performance with much weaker held-out performance can indicate overfitting to training-specific patterns. Poor performance on both sets can be consistent with underfitting, although failed optimization, unsuitable data, and other causes also need consideration. The labels therefore guide diagnosis rather than substitute for it. Changing relevant features or model capacity can be worth testing when the representation is too limited, while regularization and data choices can affect how flexibly a model fits. Bias and variance describe another view of prediction error: bias concerns systematic deviation of the estimated predictor, and variance concerns sensitivity to the sampled training data. Small models are not automatically biased, and large models are not automatically high-variance in every task. The data-generating relationship and fitting procedure matter. Validation and final testing also have different roles. Validation data can help choose a model, hyperparameters, or stopping point. Repeatedly using the final test set for those choices can make the reported final estimate optimistic, so final testing should remain separate when possible. Modern research includes double-descent curves where test error rises near an interpolation regime and falls again as capacity increases. Such observations do not make that curve universal. Assess the actual task, information available, data splits, and fitting procedure rather than infer reliability solely from parameter count.

การใช้งานจริงในโลกแห่งความเป็นจริง

ตัวกรองสแปมที่ติดธงอีเมลทุกฉบับที่มีชื่อผู้ส่งที่เฉพาะเจาะจง เนื่องจากผู้ส่งรายนั้นบังเอิญเจอสแปมอย่างหนักในข้อมูลการฝึกอบรม ทำให้พลาดสแปมเมอร์รายใหม่ไปโดยสิ้นเชิง (มีการติดตั้งมากเกินไป)

โมเดลราคาบ้านที่ใช้พื้นที่เพียงตารางฟุต และไม่สนใจสถานที่ ห้องนอน และสภาพ ดังนั้นจึงพลาดไม่ได้อย่างยิ่งในย่านที่มีราคาแพง (การขาดแคลนอุปกรณ์)

เครื่องแยกประเภทภาพทางการแพทย์ที่เรียนรู้ที่จะตรวจจับลายน้ำจากเครื่องสแกนของโรงพยาบาล แทนที่จะเป็นโรค และล้มเหลวในโรงพยาบาลอื่นๆ (ไม่เหมาะสมกับคุณลักษณะปลอม)

การวางแผนการสูญเสียการฝึกเทียบกับการสูญเสียการตรวจสอบระหว่างการฝึกอบรมและการหยุดเมื่อการสูญเสียการตรวจสอบเริ่มขึ้นในขณะที่การสูญเสียการฝึกยังคงลดลง (จับมากเกินไปตั้งแต่เนิ่นๆ)

อนาคตของการโอเวอร์ฟิตติ้งและฟิตติ้งอันเดอร์ฟิตติ้ง

Research can examine fitting behavior across architectures, optimization methods, sample sizes, and data conditions. Results should identify the setup in which a curve or diagnostic was observed. Larger models and richer features can be candidates for evaluation, while they do not guarantee improved generalization. Reports should distinguish validation used for selection from final testing and explain the available information, so an apparent improvement can be assessed alongside sampling uncertainty and possible distribution changes.

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
  • ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
  • ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ระวัง

  • แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
  • เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
  • การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

ขั้นตอนต่อไป

  1. เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
  2. เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
  3. ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
  4. เอกสารที่การสวมอุปกรณ์เกินขนาดและอุปกรณ์ส่วนล่างช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Overfitting and Underfitting quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

Overfitting และ Underfitting คืออะไร?

Overfitting describes fitting training-specific patterns that generalize poorly, while underfitting describes failing to capture useful structure even in the training data. These are fitting diagnoses to investigate, not conclusions guaranteed by model size or one accuracy number.

Under comparable train and held-out conditions, an illustrative model scores 98% on training and 71% on held-out data. Which fitting concern is consistent with that gap?

The gap is consistent with overfitting, while a complete diagnosis should also check evaluation and data conditions.

Which performance pattern can be consistent with a model underfitting useful structure?

Underfitting concerns inadequate fitting of useful structure, but the pattern should be investigated alongside other possible causes.

In a bias-variance analysis, what does high estimator variance concern?

Estimator variance concerns changes across sampled training sets, not a universal outcome of parameter count.

A house-price model has too limited a representation of relevant inputs and fits poorly. Which candidate change should be evaluated?

Testing a better representation can address an underfitting hypothesis; it is not a guaranteed improvement.

เหตุใดการตรวจสอบความถูกต้องหรือชุดการทดสอบแบบหน่วงเวลาจึงจำเป็นสำหรับการตรวจจับอุปกรณ์ที่มากเกินไป

การสวมอุปกรณ์มากเกินไปจะมองไม่เห็นหากคุณดูที่ความแม่นยำในการฝึกเท่านั้น การประเมินข้อมูลที่มองไม่เห็นจะทำให้เกิดช่องว่างระหว่างการท่องจำและลักษณะทั่วไปที่แท้จริง

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →