คู่มือพื้นฐาน

การปนเปื้อนมาตรฐาน

การปนเปื้อนของเกณฑ์มาตรฐานเกิดขึ้นเมื่อคำถามหรือคำตอบจากเกณฑ์มาตรฐานการประเมินไปอยู่ในข้อมูลการฝึกของแบบจำลอง ดังนั้นคะแนนที่สูงจึงสามารถสะท้อนถึงการท่องจำมากกว่าความสามารถที่แท้จริง

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการปนเปื้อนมาตรฐาน
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

สิ่งสำคัญคือเนื่องจากตัวเลขกระดานผู้นำผลักดันการอ้างสิทธิ์ในการวิจัยและการตัดสินใจซื้อ และคะแนนที่ปนเปื้อนก็เกินจริงว่าแบบจำลองจะดำเนินการอย่างไรกับปัญหาที่ไม่เคยเห็นมาก่อน

เจาะลึก

โมเดลภาษาขนาดใหญ่ได้รับการฝึกฝนเกี่ยวกับข้อความขนาดเว็บที่มีเอกสาร GitHub, arXiv ฟอรัม และไซต์การสอน เกณฑ์มาตรฐานยอดนิยมเปิดเผยต่อสาธารณะโดยการออกแบบ ดังนั้นคำถาม คำตอบ และการอภิปรายเกี่ยวกับเกณฑ์มาตรฐานเหล่านี้จึงถูกคัดลอกบนเว็บและกวาดไปยังข้อมูลการฝึกอบรม การปนเปื้อนอาจเกิดขึ้นโดยตรง โดยที่รายการทดสอบปรากฏขึ้น หรือโดยอ้อม ผ่านการถอดความ การแปล การเขียนวิธีแก้ปัญหา หรือข้อมูลสังเคราะห์ที่สร้างโดยแบบจำลองอื่นที่ได้เห็นเกณฑ์มาตรฐาน นอกจากนี้ยังสามารถป้อนระหว่างการปรับแต่งอย่างละเอียดได้ หากชุดข้อมูลคำสั่งถูกประกอบจากแหล่งที่คล้ายกับการวัดประสิทธิภาพ ความแตกต่างที่เป็นประโยชน์คือระหว่างการเห็นเฉพาะคำถามกับการเห็นคำถามพร้อมคำตอบ อย่างที่สองนั้นสร้างความเสียหายมากกว่า เนื่องจากโมเดลสามารถจำคำตอบได้แทนที่จะพยายามหาคำตอบ ผลลัพธ์ที่ได้คือคะแนนที่สูงเกินจริงและไม่ถ่ายโอนไปสู่ปัญหาใหม่ ความตระหนักในห้องปฏิบัติการไม่ใช่เรื่องใหม่ รายงาน GPT-3 (2020) ทำการวิเคราะห์การทับซ้อนกันขนาด 13 กรัมระหว่างการวัดประสิทธิภาพและข้อมูลการฝึกอบรม และรับทราบว่ามีข้อบกพร่องทำให้เกิดการทับซ้อนกันบางประการ เมื่อมีข้อมูลการฝึกอบรม การค้นหาที่ทับซ้อนกันจะเป็นการตรวจสอบโดยตรงที่สุด เมื่อไม่เป็นเช่นนั้น นักวิจัยก็ใช้วิธีการทางอ้อม: กระตุ้นให้โมเดลเริ่มรายการทดสอบเพื่อดูว่าแบบจำลองที่เหลือเสร็จสมบูรณ์หรือไม่ วิธีการอนุมานสมาชิก เช่น Min-K% Prob (Shi และเพื่อนร่วมงาน, 2023) ซึ่งดูว่าแบบจำลองทำนายโทเค็นของข้อความได้อย่างมั่นใจเพียงใด การเปรียบเทียบคะแนนของรายการต้นฉบับกับสิ่งที่เขียนใหม่หรือเทียบเท่าที่เขียนใหม่ และการแบ่งแยกตามเวลาที่เปรียบเทียบปัญหาที่เกิดขึ้นก่อนและหลังจุดตัดการฝึกอบรม ความเข้าใจผิดสองประการเป็นเรื่องปกติ ประการแรก การทับซ้อนไม่ได้ทำให้คะแนนเพิ่มขึ้นมากนักเสมอไป การศึกษาบางชิ้นพบว่ามีผลกระทบเล็กน้อยต่องานบางอย่าง ประการที่สอง การค้นหาว่าไม่มีการทับซ้อนที่แน่นอนไม่ได้พิสูจน์ว่าเกณฑ์มาตรฐานนั้นสะอาด เนื่องจากสำเนาที่ถอดความหรือแปลแล้วไม่ผ่านการจับคู่สตริง การบรรเทาผลกระทบ ได้แก่ ชุดการทดสอบส่วนตัว สตริงคานารี การวัดประสิทธิภาพที่รีเฟรชเป็นประจำ เช่น LiveBench และ LiveCodeBench ตัวกรองการปนเปื้อน และการเผยแพร่การวิเคราะห์การปนเปื้อนควบคู่ไปกับผลลัพธ์

การใช้งานจริงในโลกแห่งความเป็นจริง

ปัญหาของเกณฑ์มาตรฐานทางคณิตศาสตร์ถูกโพสต์ใหม่ในฟอรัมพร้อมวิธีแก้ปัญหาที่ใช้งานได้ การรวบรวมข้อมูลเว็บจะรวบรวมหน้าเหล่านั้น และแบบจำลองที่ได้รับการฝึกอบรมในภายหลังจะทำซ้ำคำตอบที่แน่นอน รวมถึงลักษณะเฉพาะในถ้อยคำต้นฉบับ

นักวิจัยจาก Scale AI เขียน GSM1k ซึ่งเป็นโจทย์คณิตศาสตร์ระดับประถมศึกษาใหม่ที่เข้ากันกับ GSM8K ทั้งในรูปแบบและความยาก และพบว่าบางรุ่นได้คะแนนต่ำกว่าอย่างเห็นได้ชัดในชุดใหม่ ซึ่งเป็นสัญญาณว่าเกินเกณฑ์มาตรฐานสาธารณะ

เกณฑ์มาตรฐานการเข้ารหัสที่ระบุวันที่แต่ละปัญหาแสดงให้เห็นว่าแบบจำลองการแก้ปัญหามีการเผยแพร่ก่อนที่จะมีการตัดการฝึกอบรมมากกว่าหลังจากนั้น ซึ่งเป็นรูปแบบที่ LiveCodeBench ได้รับการออกแบบมาเพื่อเปิดเผย

งาน BIG-bench ประกอบด้วยสตริงคานารีที่เป็นเอกลักษณ์ เพื่อให้ทีมข้อมูลสามารถกรองเอกสารใดๆ ที่มีเอกสารนั้นออกจากกลุ่มการฝึกอบรม และตรวจสอบในภายหลังว่าแบบจำลองสามารถทำซ้ำได้หรือไม่

อนาคตของการปนเปื้อนมาตรฐาน

แนวทางปฏิบัติในการประเมินกำลังเปลี่ยนไปสู่ชุดการทดสอบส่วนตัวหรือส่วนตัวบางส่วน เกณฑ์มาตรฐานที่เพิ่มรายการใหม่เมื่อเวลาผ่านไป และผู้ประเมินบุคคลที่สามที่ควบคุมข้อมูลการทดสอบ นั่นสร้างความตึงเครียดอย่างแท้จริงด้วยความเปิดกว้าง เนื่องจากการวัดประสิทธิภาพสาธารณะนั้นง่ายต่อการทำซ้ำและตรวจสอบ ความโปร่งใสที่มากขึ้นเกี่ยวกับข้อมูลการฝึกอบรมจะทำให้การตรวจสอบการปนเปื้อนง่ายขึ้นมาก แต่นักพัฒนาโมเดลจำนวนมากไม่ได้เผยแพร่รายละเอียดข้อมูลทั้งหมด ผู้อ่านควรปฏิบัติต่อคะแนนมาตรฐานแบบคงที่ใดๆ ด้วยความระมัดระวัง และมองหาผลลัพธ์จากข้อมูลใหม่หรือข้อมูลที่เก็บไว้ก่อนที่จะสรุปผลที่ชัดเจน

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
  • ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
  • ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ระวัง

  • แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
  • เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
  • การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

ขั้นตอนต่อไป

  1. เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
  2. เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
  3. ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
  4. เอกสารที่เกณฑ์มาตรฐานการปนเปื้อนช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Benchmark Contamination quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การปนเปื้อนมาตรฐานคืออะไร?

การปนเปื้อนของเกณฑ์มาตรฐานเกิดขึ้นเมื่อคำถามหรือคำตอบจากเกณฑ์มาตรฐานการประเมินไปอยู่ในข้อมูลการฝึกของแบบจำลอง ดังนั้นคะแนนที่สูงจึงสามารถสะท้อนถึงการท่องจำมากกว่าความสามารถที่แท้จริง สิ่งสำคัญคือเนื่องจากตัวเลขกระดานผู้นำผลักดันการอ้างสิทธิ์ในการวิจัยและการตัดสินใจซื้อ และคะแนนที่ปนเปื้อนก็เกินจริงว่าแบบจำลองจะดำเนินการอย่างไรกับปัญหาที่ไม่เคยเห็นมาก่อน

การปนเปื้อนตามมาตรฐานคืออะไร?

การปนเปื้อนหมายความว่าแบบจำลองอาจเห็นวัสดุทดสอบระหว่างการฝึก ดังนั้นคะแนนจึงสะท้อนถึงการท่องจำได้

จุดประสงค์ของสาย canary ที่รวมอยู่ในงาน BIG-bench คืออะไร?

ตัวระบุที่ไม่ซ้ำกันทำให้ง่ายต่อการค้นหาและลบข้อความเบนช์มาร์กออกจากคลังข้อมูล และเพื่อตรวจสอบว่าโมเดลได้จดจำข้อความนั้นหรือไม่

การศึกษา GSM1k แนะนำอะไร

ปัญหาใหม่ที่ลดลงซึ่งสอดคล้องกับสไตล์และความยากลำบากชี้ให้เห็นถึงความเหมาะสมกับเกณฑ์มาตรฐานสาธารณะมากกว่าทักษะทางคณิตศาสตร์ทั่วไป

เอกสาร GPT-3 ทำการวิเคราะห์การทับซ้อนกันแบบใด

ผู้เขียนของ GPT-3 ได้ตรวจสอบการทับซ้อนกันขนาด 13 กรัม และรับทราบถึงข้อบกพร่องที่ทำให้การทับซ้อนบางส่วนไม่ถูกลบออก

แนวคิดหลักของ Min-K% Prob คืออะไร

วิธีการนี้จะเฉลี่ย k เปอร์เซ็นต์ต่ำสุดของความน่าจะเป็นในการบันทึกโทเค็น คะแนนข้อความที่จดจำสูงผิดปกติเพราะมีส่วนน้อยมากที่ทำให้โมเดลประหลาดใจ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →