คู่มือทางเทคนิค

การติดตามการทดสอบ

การติดตามการทดลองคือแนวทางปฏิบัติในการบันทึกทุกการทำงานของแมชชีนเลิร์นนิงอย่างเป็นระบบ ไม่ว่าจะเป็นโค้ด ข้อมูล ไฮเปอร์พารามิเตอร์ เมตริก และเอาต์พุต ดังนั้นผลลัพธ์จึงสามารถทำซ้ำและเปรียบเทียบได้

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการติดตามการทดลอง
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

หากไม่มีสิ่งนั้น คำถามว่า “เวอร์ชันไหนดีที่สุดและเราจะได้มันมาอย่างไร?” จะเกือบจะตอบไม่ได้

เจาะลึก

การฝึกโมเดลนั้นแทบจะไม่ใช่กระบวนการแบบนัดเดียว ทีมทำการทดลองนับร้อยหรือหลายพันรายการ ปรับแต่งอัตราการเรียนรู้ ขนาดแบตช์ สถาปัตยกรรม และชุดข้อมูล การติดตามการทดลองจะบันทึกลายนิ้วมือแบบเต็มของการรันแต่ละครั้ง: การคอมมิต Git ของโค้ด, แฮชของชุดข้อมูล, ไฮเปอร์พารามิเตอร์ทุกตัว, ตัววัดตามเวลา (การสูญเสีย, ความแม่นยำ, F1), ข้อมูลระบบ เช่น ประเภท GPU และส่วนต่าง ๆ เช่น น้ำหนักและพล็อตของโมเดลที่บันทึกไว้ เครื่องมือต่างๆ เช่น MLflow, Weights & Biases, Neptune และ Comet จะบันทึกสิ่งนี้โดยอัตโนมัติผ่านการเรียก API สองสามบรรทัด ผลตอบแทนที่ได้คือความสามารถในการทำซ้ำ (คุณสามารถรันการกำหนดค่าที่ชนะอย่างแน่นอนอีกครั้ง) ความสามารถในการเปรียบเทียบ (การเรียงลำดับและตัวกรองทำงานเคียงข้างกัน) และการทำงานร่วมกัน (เพื่อนร่วมทีมดูว่าได้ลองอะไรไปแล้ว) เปลี่ยนการทดลองเฉพาะกิจให้เป็นประวัติที่ตรวจสอบได้และค้นหาได้

การใช้งานจริงในโลกแห่งความเป็นจริง

ทีมคอมพิวเตอร์วิทัศน์ใช้ Weights & Biases เพื่อเปรียบเทียบการกวาดไฮเปอร์พารามิเตอร์ 200 รายการ และระบุกำหนดการอัตราการเรียนรู้ที่เพิ่มความแม่นยำในการตรวจสอบสูงสุด

สตาร์ทอัพจะบันทึกคอมมิต Git และแฮชชุดข้อมูลที่แน่นอนสำหรับการรัน MLflow แต่ละครั้ง เพื่อให้ผู้ควบคุมสามารถสร้างแบบจำลองที่ตัดสินใจด้านเครดิตได้ในภายหลัง

ห้องปฏิบัติการวิจัยจะสตรีมกราฟการสูญเสียในแต่ละยุคไปยังแดชบอร์ดที่ใช้ร่วมกัน เพื่อให้ผู้ทำงานร่วมกันในเขตเวลาที่ต่างกันสามารถตรวจสอบการฝึกซ้อมระยะยาวได้

ทีม NLP ติดตามเวอร์ชันพร้อมท์และคะแนนการประเมินในการทดลองปรับแต่ง LLM เพื่อเลือกการกำหนดค่าที่มีประสิทธิภาพดีที่สุดก่อนปรับใช้

อนาคตของการติดตามการทดลอง

การติดตามการทดสอบกำลังผสานเข้ากับแพลตฟอร์ม MLOps และ LLMOps ที่กว้างขึ้น เนื่องจากโมเดลพื้นฐานมีอิทธิพลเหนือ การติดตามจึงขยายจากตัววัดตัวเลขไปเป็นเวอร์ชันพร้อมท์ การติดตามการประเมิน และผลลัพธ์เชิงคุณภาพ การสืบเชื้อสายอัตโนมัติ — การเชื่อมโยงการทดลองกับชุดข้อมูล โค้ด และโมเดลการใช้งานดาวน์สตรีมที่แน่นอน — กำลังกลายเป็นมาตรฐานสำหรับข้อกำหนดด้านการกำกับดูแลและการตรวจสอบ คาดหวังการผสานรวมที่เข้มงวดมากขึ้นกับร้านค้าฟีเจอร์ การลงทะเบียนโมเดล และ CI/CD พร้อมการสนับสนุนที่สมบูรณ์ยิ่งขึ้นสำหรับการกวาดล้างแบบกระจายและหลายรันซึ่งมีการเปิดตัวและเปรียบเทียบการทดลองใช้หลายพันรายการโดยอัตโนมัติ

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

ทำแบบทดสอบ Experiment Tracking

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

Experiment Tracking คืออะไร?

การติดตามการทดลองคือแนวทางปฏิบัติในการบันทึกทุกการทำงานของแมชชีนเลิร์นนิงอย่างเป็นระบบ ไม่ว่าจะเป็นโค้ด ข้อมูล ไฮเปอร์พารามิเตอร์ เมตริก และเอาต์พุต ดังนั้นผลลัพธ์จึงสามารถทำซ้ำและเปรียบเทียบได้ หากไม่มีสิ่งนี้ คำถามที่ว่า 'เวอร์ชันใดดีที่สุด และเราได้มาอย่างไร' แทบจะตอบไม่ได้เลย

วัตถุประสงค์หลักของการติดตามการทดสอบในแมชชีนเลิร์นนิงคืออะไร

การติดตามการทดสอบจะบันทึกโค้ด ข้อมูล ไฮเปอร์พารามิเตอร์ และเมตริก เพื่อให้สามารถทำซ้ำและเปรียบเทียบการทำงานระหว่างกันได้

การผสมผสานใดที่จำเป็นในการทำให้การฝึกซ้อมวิ่งครั้งเดียวสามารถทำซ้ำได้อย่างแท้จริง

ความสามารถในการทำซ้ำต้องใช้โค้ดที่ตรงกันทุกประการ (เช่น Git commit) ข้อมูลเดียวกัน และการกำหนดค่าเดียวกัน ทั้งสองอย่างนี้ร่วมกันกำหนดผลลัพธ์

ข้อใดต่อไปนี้คือเครื่องมือติดตามการทดสอบยอดนิยม

MLflow พร้อมด้วย Weights & Biases, Neptune และ Comet เป็นแพลตฟอร์มติดตามการทดลองที่ใช้กันอย่างแพร่หลาย

โดยทั่วไปแล้ว เครื่องมือติดตามการทดสอบส่วนใหญ่จะบันทึกเมตริกระหว่างการฝึกอย่างไร

ตัวติดตามเปิดเผย API ที่คุณเรียกใช้ภายในลูปการฝึกอบรมเพื่อบันทึกพารามิเตอร์หนึ่งครั้งและตัววัดซ้ำ ๆ โดยสตรีมไปยังแบ็กเอนด์พื้นที่จัดเก็บข้อมูล

อาร์ติแฟกต์ขนาดใหญ่ เช่น น้ำหนักโมเดลที่บันทึกไว้ โดยปกติแล้วจะถูกจัดเก็บโดยระบบติดตามไว้ที่ใด

ไฟล์ขนาดใหญ่ไปที่พื้นที่จัดเก็บอ็อบเจ็กต์หรืออาร์ติแฟกต์ ในขณะที่ที่เก็บข้อมูลเมตาจะเก็บการอ้างอิงแบบ lightly รวมถึงหน่วยเมตริกและพารามิเตอร์ที่เป็นตัวเลข

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →