เกิดอะไรขึ้น
บทความที่ส่งไปยัง arXiv เมื่อวันที่ 23 สิงหาคม รายงานว่าช่องทางการตรวจจับการสำรวจสามารถมีอิทธิพลต่อเอาท์พุตของ AION-1 มากกว่าข้อมูลภาพทางดาราศาสตร์ที่ตั้งใจจะตีความ ผู้เขียนกล่าวว่าการแก้ไขเฉพาะแผนที่การแบ่งส่วนแบบสำรวจได้เปลี่ยนรายงานฟลักซ์ ขนาด วงรี และการเปลี่ยนแปลงสีแดง แม้ว่าจะยังคงรักษาโทเค็นรูปภาพแบบไบต์เหมือนกันก็ตาม
บทความนี้จะตรวจสอบ AION-1 ซึ่งผู้เขียนบรรยายว่าเป็นหม้อแปลงไฟฟ้า 39 แบบที่ได้รับการฝึกฝนบนวัตถุทางดาราศาสตร์มากกว่า 200 ล้านชิ้น การทดลองส่วนกลางใช้การแทรกแซงเชิงสาเหตุกับอินพุตของแบบจำลอง: โทเค็นรูปภาพจะถูกจัดเก็บแบบไบต์เหมือนกัน ในขณะที่มีการแก้ไขเฉพาะแผนที่การแบ่งส่วนแบบสำรวจเท่านั้น รายงานฉบับนี้รายงานว่าการเปลี่ยนแปลงนี้เปลี่ยนแปลงทุกปริมาณที่ทดสอบ ทั้งฟลักซ์ ขนาด รูปไข่ และการเปลี่ยนแปลงสีแดง 110 ถึง 4,400 เท่าของยาหลอกที่ตรงกัน นี่เป็นผลลัพธ์ที่รายงานโดยรายงานนี้ ไม่ใช่ผลการตรวจสอบที่ตรวจสอบโดยอิสระ
กลไกที่รายงานคือการตรวจจับ gating รายงานระบุว่าพฤติกรรมของแบบจำลองติดตามว่ามีการตรวจจับอยู่ที่ศูนย์กลางสนามหรือไม่ โดยมีความสัมพันธ์ที่รายงานไว้ที่ r = 0.47 ซึ่งรุนแรงกว่าแสงที่ปิดบังด้วยหน้ากากซึ่งมี r = 0.30 ในชุดของการผสมจริง 322 รายการ ผู้เขียนรายงานว่าแบบจำลองส่วนใหญ่เพิกเฉยต่อวิธีที่ไปป์ไลน์แบ่งแสง โดยที่ R = -0.006 บทความนี้ยังกล่าวอีกว่าการวัดแสงแคตตาล็อกที่ขัดแย้งกันทำให้แบบจำลองแย่กว่าการไม่ได้ให้ข้อมูลเมตาเลยถึงเก้าเท่า
เอกสารนี้จะเชื่อมโยงพฤติกรรมของแบบจำลองกับการตรวจจับที่ขาดหายไปในข้อมูลการสำรวจ รายงานระบุว่าไปป์ไลน์ Legacy Survey ทิ้งเป้าหมายไว้ 3.68% โดยไม่มีส่วนใดครอบคลุมตำแหน่งของตน เมื่ออัตราดังกล่าวถูกเผยแพร่ผ่านงาน 40 งาน ผู้เขียนรายงานการเปลี่ยนแปลงค่ามัธยฐานของค่ามัธยฐานของการเปลี่ยนแปลงค่าเฉลี่ย tomographic เท่ากับ 0.71 เท่าของข้อกำหนด LSST DESC โดยการเปลี่ยนแปลงเกินข้อกำหนดดังกล่าวในงาน 12 งาน การใช้การวัดการพึ่งพาขนาดที่วัดได้ของการพลาดแทนที่จะวาดให้สม่ำเสมอไม่ได้เปลี่ยนผลลัพธ์ที่รายงาน
มีการอธิบายข้อจำกัดทางเทคนิคหลายประการด้วย บทความกล่าวว่าสเปกโทรสโกปีจะขจัดผลกระทบ ในขณะที่การระงับช่องการตรวจจับจะขจัดผลกระทบดังกล่าวออกไปโดยไม่มีค่าใช้จ่ายใด ๆ ที่วัดได้ และผลกระทบจะเพิ่มขึ้นตามขนาดของแบบจำลอง โดยรายงานว่าตัวแปลงสัญญาณรูปภาพแก้ไขสถานะที่มีประสิทธิภาพ 28 สถานะบนแพตช์ต้นทาง เปรียบเทียบกับ 934 สำหรับตัวแปลงสัญญาณสเปกตรัม และการอ่านค่า redshift นั้นจำกัดปริมาณ นอกจากนี้ยังเตือนด้วยว่าพจนานุกรมแบบกระจัดกระจายเป็นตัวจัดการสาเหตุที่ไม่น่าเชื่อถือ: การฟื้นตัวอยู่ระหว่าง 26% ถึง 75% และขยับได้มากถึง 18 เปอร์เซ็นต์ ขึ้นอยู่กับการสุ่มเมล็ด
ทำไมมันถึงสำคัญ
การค้นพบนี้ระบุถึงโหมดความล้มเหลวที่เป็นผลสืบเนื่องที่อาจเกิดขึ้นสำหรับ AI ทางวิทยาศาสตร์ โดยแบบจำลองสามารถสืบทอดข้อผิดพลาดที่เป็นระบบจากแค็ตตาล็อกและไปป์ไลน์การตรวจจับ แทนที่จะอาศัยการสังเกตพื้นฐานเป็นหลัก รายงานฉบับนี้รายงานว่าการจำลองการแพร่กระจายของอัตราความผิดพลาดที่วัดได้สามารถเปลี่ยนค่าเฉลี่ยของโทโมกราฟีที่ใช้ในการวิเคราะห์แบบสำรวจได้อย่างมีนัยสำคัญ
ความสำคัญที่กว้างขึ้นของบทความนี้คือระบบ AI ที่ใช้สำหรับการวัดทางวิทยาศาสตร์อาจถือว่าการตัดสินใจในการประมวลผลข้อมูลเป็นหลักฐานเกี่ยวกับวัตถุนั้นเอง แผนที่การแบ่งส่วนเป็นผลิตภัณฑ์ที่ได้รับซึ่งระบุแหล่งที่มาที่ตรวจพบหรือแยกออกจากกัน การทดลองที่รายงานแนะนำว่า AION-1 สามารถใช้สัญญาณนั้นเป็นประตูว่าวิเคราะห์พิกเซลหรือไม่และอย่างไร หากทำซ้ำ สิ่งนี้จะทำให้ไปป์ไลน์การสำรวจเป็นส่วนหนึ่งของระบบการวัดที่มีประสิทธิผลของแบบจำลอง แม้ว่านักวิจัยจะเชื่อว่าพวกเขากำลังขอให้แบบจำลองตีความการสังเกตก็ตาม
ค่าเฉลี่ยของโทโมกราฟีคือค่าประมาณรวมของการกระจายวัตถุผ่านถังเรดชิฟต์ รายงานฉบับนี้รายงานว่าอัตราส่วนที่ขาดหายไป 3.68% เมื่อรวมกับพฤติกรรมของแบบจำลอง สามารถเปลี่ยนผลรวมเหล่านั้นได้เป็นส่วนสำคัญของข้อกำหนด LSST DESC ที่ระบุไว้และบางครั้งก็เกินกว่านั้น ข้อกังวลในทางปฏิบัติไม่เพียงแต่การคาดการณ์ของแต่ละบุคคลอาจผิดเท่านั้น แต่ข้อผิดพลาดที่เชื่อมโยงกับไปป์ไลน์ซ้ำๆ อาจแพร่กระจายไปสู่ข้อสรุปทางวิทยาศาสตร์ในระดับประชากรได้
ผลลัพธ์ยังท้าทายสมมติฐานทั่วไปเกี่ยวกับแบบจำลองพื้นฐานหลายรูปแบบ: การเพิ่มช่องสัญญาณมากขึ้นไม่ได้ทำให้ระบบมีความแข็งแกร่งหรือมีข้อมูลมากขึ้นโดยอัตโนมัติ ในที่นี้ เอกสารรายงานว่าโฟโตเมทรีแค็ตตาล็อกที่ขัดแย้งกันอาจสร้างความเสียหายได้มากกว่าการลบข้อมูลเมตาทั้งหมด การค้นพบว่าการระงับช่องการตรวจจับนั้นไม่มีต้นทุนประสิทธิภาพที่สามารถวัดได้ในการทดสอบที่รายงาน ชี้ไปที่การบรรเทาที่อาจเกิดขึ้นได้ง่าย แม้ว่าแหล่งที่มาจะไม่ได้กำหนดว่าข้อดีนั้นมีไว้สำหรับทุกงานหรือทุกสภาวะการทำงานหรือไม่
หลักฐานของรายงานนี้มีความเกี่ยวข้องอย่างยิ่งเนื่องจากใช้มาตรการควบคุมมากกว่าการเปรียบเทียบการคาดการณ์กับป้ายกำกับเท่านั้น โดยการเปลี่ยนช่องสัญญาณเข้าหนึ่งช่องในขณะที่ยังคงรักษาโทเค็นรูปภาพไว้ ผู้เขียนพยายามแยกอิทธิพลเชิงสาเหตุออก วิธีการดังกล่าวไม่ได้พิสูจน์ด้วยตัวมันเองว่า AION-1 จะล้มเหลวในทุกขั้นตอนการทำงานทางดาราศาสตร์ แต่นำเสนอวิธีที่เป็นรูปธรรมในการตรวจสอบว่าอินพุตแบบจำลองสะท้อนข้อมูลทางกายภาพ สิ่งแปลกปลอมในการวัด หรือสมมติฐานที่ฝังอยู่ในซอฟต์แวร์อัปสตรีมหรือไม่
กลไกเชิงโต้ตอบ: มันทำงานอย่างไร
สำรวจเทคโนโลยีเบื้องหลังการพัฒนานี้แบบโต้ตอบ
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
จะดูอะไรต่อไป.
ผลลัพธ์ที่ได้มาจากกระดาษ arXiv v1 แผ่นเดียว และต้องการการจำลองแบบแยกกันระหว่างแบบจำลอง การสำรวจ และไปป์ไลน์การประมวลผลข้อมูล งานติดตามผลควรทดสอบว่าเมตาดาต้าการตรวจจับการหักภาษี ณ ที่จ่ายจะรักษาประสิทธิภาพทางวิทยาศาสตร์หรือไม่ ผลกระทบที่รายงานปรากฏในระบบปฏิบัติการหรือไม่ และขีดจำกัดปริมาณ Redshift และโทเค็นไนเซชันส่งผลต่อข้อสรุปมากน้อยเพียงใด
คำถามทันทีคือการจำลองแบบ แหล่งที่มาอธิบายถึงการตรวจสอบแบบจำลองหนึ่งโดยผู้เขียนคนหนึ่ง และไม่รายงานการตรวจสอบโดยผู้ทรงคุณวุฒิ การวิเคราะห์ซ้ำโดยอิสระ หรือผลลัพธ์จากแบบจำลองพื้นฐานทางดาราศาสตร์อื่นๆ นักวิจัยควรทดสอบการแทรกแซงเดียวกันในการสำรวจ ท่อแบ่งส่วน และสถาปัตยกรรมแบบจำลองที่แตกต่างกัน รวมถึงระบบที่ได้รับการฝึกอบรมโดยไม่มีผลิตภัณฑ์ในแคตตาล็อก หรือมีแหล่งที่มาที่ชัดเจนและตัวบ่งชี้ข้อมูลที่ขาดหายไป
การบรรเทาผลกระทบที่รายงานควรได้รับการประเมินอย่างรอบคอบ การระงับช่องทางการตรวจจับจะขจัดผลกระทบที่วัดได้โดยไม่มีต้นทุนที่วัดได้ในการทดสอบของกระดาษ แต่แหล่งที่มาไม่ได้ระบุชุดงานทั้งหมด ตัวอย่างการประเมิน หรือความไม่แน่นอนเกี่ยวกับการเปรียบเทียบนั้น การศึกษาติดตามผลควรพิจารณาว่าการลบช่องสัญญาณออกจะส่งผลต่อวัตถุหายาก พื้นที่ที่มีผู้คนหนาแน่น แหล่งแสงจาง หรืองานที่ไม่ครอบคลุมอยู่ในการตรวจสอบหรือไม่
ผลลัพธ์ redshift จำเป็นต้องมีการตรวจสอบการปฏิบัติงาน รายงานเผยแพร่อัตราส่วนที่ขาดหายไปผ่านงาน 40 งาน และเปรียบเทียบการเปลี่ยนแปลงผลลัพธ์กับข้อกำหนด LSST DESC แต่แหล่งข่าวไม่ได้ระบุว่ามีการสังเกตการเปลี่ยนแปลงเหล่านี้ในการวิเคราะห์แบบสำรวจที่ปรับใช้ ทีมอิสระควรจำลองขั้นตอนการมอบหมายงาน วัดช่วงความเชื่อมั่น และทดสอบว่าการสังเกตการสำรวจจริงแสดงอคติในระดับประชากรที่เหมือนกันหรือไม่
การทำงานเพิ่มเติมควรแยกการพึ่งพาเมตาดาต้าการตรวจจับของโมเดลออกจากข้อจำกัดในการสร้างโทเค็นและการแสดงเอาท์พุต บทความรายงานว่าแพตช์รูปภาพมีสถานะตัวแปลงสัญญาณที่มีประสิทธิภาพน้อยกว่าแพตช์สเปกตรัม และการอ่านค่า redshift นั้นจำกัดปริมาณ ยังไม่ชัดเจนว่าข้อจำกัดแต่ละข้อส่งผลต่อพาดหัวข่าวมากเพียงใด การปรับขนาดทำให้ประสิทธิภาพลดลงอย่างต่อเนื่องหรือไม่ และโทเค็นทางเลือกหรือการอ่านข้อมูลเปลี่ยนข้อสรุปหรือไม่