เกิดอะไรขึ้น
เว็บไซต์ของ Goodfire แนะนำ Silico ในฐานะตัวแทนความสามารถในการตีความและเป็นแพลตฟอร์มสำหรับการทำความเข้าใจ การแก้ไขจุดบกพร่อง และการออกแบบโมเดล AI โดยเจตนา บริษัทกล่าวว่า Silico สามารถเปิดเผยการนำเสนอภายใน ระบุพฤติกรรมที่ไม่พึงประสงค์ และสนับสนุนการแทรกแซงการฝึกอบรมแบบกำหนดเป้าหมายในวิทยาศาสตร์ชีวภาพ หุ่นยนต์ วิสัยทัศน์ และแบบจำลองภาษาขนาดใหญ่
เว็บไซต์ของ Goodfire นำเสนอ Silico ในฐานะ “ตัวแทนความสามารถในการตีความของคุณ” โดยมีวัตถุประสงค์หลักในการทำความเข้าใจและแก้ไขโมเดล AI แพลตฟอร์มดังกล่าวได้รับการอธิบายว่าเป็นวิธีหนึ่งในการเปิดเผยการเป็นตัวแทนที่ซ่อนอยู่ภายในโครงข่ายประสาทเทียม ตรวจสอบสิ่งที่แบบจำลองได้เรียนรู้ ค้นหาพฤติกรรมที่ไม่พึงประสงค์ และทำการแทรกแซงแบบกำหนดเป้าหมาย Goodfire วางกรอบสิ่งนี้เป็นการเปลี่ยนจากการฝึกโมเดลแบบเดาและตรวจสอบไปสู่สิ่งที่เรียกว่าวิศวกรรมที่มีความแม่นยำและการออกแบบแบบจำลองโดยเจตนา นี่คือคำอธิบายของบริษัทเกี่ยวกับวัตถุประสงค์ของผลิตภัณฑ์ แหล่งที่มาไม่ได้จัดให้มีการประเมินทางเทคนิคโดยอิสระเกี่ยวกับความสามารถเหล่านั้น
หน้านี้ระบุว่า Silico มีวัตถุประสงค์เพื่อทำงานกับระบบ AI หลายประเภท: แบบจำลองวิทยาศาสตร์ชีวภาพ หุ่นยนต์และระบบการมองเห็น และแบบจำลองภาษาขนาดใหญ่ Goodfire อธิบายหน้าที่หลักสามประการ “เข้าใจ” มีจุดมุ่งหมายเพื่อวิศวกรรมย้อนกลับกลไกเชิงสาเหตุและเปิดเผยโครงสร้างภายใน “Debug” มีวัตถุประสงค์เพื่อระบุตัวรบกวน ปัญหาคอขวดของข้อมูล และสาเหตุความล้มเหลวก่อนการผลิต “การออกแบบ” มีจุดมุ่งหมายเพื่อเป็นแนวทางในการฝึกอบรมเพื่อให้โมเดลเรียนรู้คุณสมบัติที่ต้องการโดยใช้ข้อมูลน้อยลงและผลกระทบนอกเป้าหมายน้อยลง แหล่งที่มาไม่ได้ระบุสถาปัตยกรรมที่รองรับ ขนาดโมเดล ข้อกำหนดในการปรับใช้ หรือรูปแบบที่แน่นอนของการแทรกแซง
Goodfire ยังอธิบายตัวอย่างจากงานวิจัยและงานเชิงพาณิชย์อีกด้วย บริษัทกล่าวว่าได้ใช้การตีความโมเดลอีพิเจเนติกส์เพื่อระบุระดับของตัวบ่งชี้ทางชีวภาพที่ไม่ได้รับการรายงานก่อนหน้านี้สำหรับการตรวจหาโรคอัลไซเมอร์ กล่าวว่าการวิเคราะห์แบบจำลองจีโนม Evo 2 ของ Arc Institute เผยให้เห็นคุณลักษณะที่สอดคล้องกับแนวคิดทางชีววิทยา และการฝัง Evo 2 ถูกนำมาใช้เพื่อคาดการณ์ว่าตัวแปรทางพันธุกรรมทำให้เกิดโรคหรือไม่ สำหรับโมเดลภาษา Goodfire กล่าวว่าการฝึกอบรมที่มีฟีเจอร์นำทางช่วยลดอาการประสาทหลอนได้ 58 เปอร์เซ็นต์ ในขณะที่วิธีการแยกต่างหากสำหรับการตรวจจับห่วงโซ่ความคิดเชิงปฏิบัติช่วยลดการใช้โทเค็นได้มากถึง 68 เปอร์เซ็นต์ โดยสูญเสียความแม่นยำเพียงเล็กน้อย
ตัวอย่างอื่น ๆ ในหน้านี้เกี่ยวข้องกับแบบจำลองการตรวจหัวใจด้วยคลื่นไฟฟ้าหัวใจ แบบจำลองหุ่นยนต์ และแบบจำลองการแพร่กระจายสำหรับการค้นพบวัสดุ Goodfire กล่าวว่าการวิเคราะห์พื้นที่แฝงแสดงให้เห็นว่าคุณลักษณะใดในแบบจำลองการเต้นของหัวใจแสดงถึงการเคลื่อนไหวและกายวิภาคศาสตร์ และการตรวจสอบเรขาคณิตที่เป็นตัวแทนช่วยระบุลักษณะที่เปราะบางเบื้องหลังพฤติกรรมของหุ่นยนต์ที่ไม่เสถียร นอกจากนี้ยังระบุด้วยว่าผลตอบรับจากการนำเสนอภายในของแบบจำลองทำให้ได้วัสดุที่มีคุณสมบัติเป้าหมายมากขึ้นประมาณ 30 เปอร์เซ็นต์ แหล่งที่มาไม่มีการออกแบบการศึกษา เส้นพื้นฐาน ขนาดตัวอย่าง ชุดข้อมูล แถบข้อผิดพลาด หรือการจำลองแบบอิสระสำหรับผลลัพธ์เหล่านี้ ดังนั้นจึงควรถือเป็นการกล่าวอ้างที่บริษัทรายงาน
รายละเอียดที่มา: goodfire.com ↗
ทำไมมันถึงสำคัญ
หากความสามารถของแพลตฟอร์มและผลลัพธ์ที่รายงานอยู่ภายใต้การทดสอบโดยหน่วยงานอิสระ Silico สามารถให้นักพัฒนา AI มีแนวทางโดยตรงมากขึ้นในการวินิจฉัยความล้มเหลวและเปลี่ยนแปลงพฤติกรรมของโมเดลมากกว่าการฝึกแบบลองผิดลองถูกซ้ำ นั่นจะมีความสำคัญมากที่สุดในการตั้งค่าที่ข้อผิดพลาดมีค่าใช้จ่ายสูง รวมถึงการวิเคราะห์ทางชีวการแพทย์ การสร้างภาพทางคลินิก หุ่นยนต์ และระบบภาษาที่ใช้งาน
ระบบ AI มักจะได้รับการปรับปรุงผ่านข้อมูลเพิ่มเติม การฝึกอบรมใหม่ การแจ้งเตือน หรือการประเมินจากภายนอก การมุ่งเน้นที่ระบุไว้ของ Silico นั้นแตกต่างออกไป: การตรวจสอบการนำเสนอภายในที่สนับสนุนพฤติกรรมของแบบจำลองและใช้ข้อมูลนั้นเพื่อเป็นแนวทางในการเปลี่ยนแปลง หากกระบวนการนั้นระบุคุณสมบัติที่รับผิดชอบต่อคำตอบหรือการดำเนินการได้อย่างน่าเชื่อถือ นักพัฒนาอาจมีวิธีที่ตรงเป้าหมายมากขึ้นในการตรวจสอบความล้มเหลว คุณค่าในทางปฏิบัติจะช่วยลดความจำเป็นในการปรับเปลี่ยนแบบจำลองโดยไม่รู้ว่าพฤติกรรมภายในแบบใดที่ทำให้เกิดปัญหา
ผลกระทบต่อสาธารณะที่อาจเกิดขึ้นมีความชัดเจนที่สุดในพื้นที่ที่ Goodfire ตั้งชื่อไว้ ในสาขาวิทยาศาสตร์ชีวภาพ แบบจำลองที่เชื่อมโยงคุณลักษณะภายในกับแนวคิดทางชีววิทยาอาจทำให้การทำนายง่ายขึ้นในการตรวจสอบ แม้ว่าการตีความเพียงอย่างเดียวจะไม่สามารถสร้างความถูกต้องทางคลินิกได้ ในวิทยาการหุ่นยนต์และการมองเห็น การระบุจุดคอขวดของข้อมูลหรือการนำเสนอที่เปราะบางสามารถช่วยให้ทีมวินิจฉัยพฤติกรรมที่ไม่เสถียรก่อนการใช้งานได้ ในแบบจำลองภาษา การแทรกแซงแบบกำหนดเป้าหมายอาจลดอาการประสาทหลอนหรือโทเค็นการให้เหตุผลที่ไม่จำเป็น แต่แหล่งที่มาไม่ได้กำหนดว่าการเปลี่ยนแปลงเหล่านี้ทำงานอย่างไรนอกการทดลองที่อธิบายไว้
แพลตฟอร์มดังกล่าวยังสะท้อนให้เห็นถึงการเปลี่ยนแปลงในวงกว้างในการพัฒนาระบบ AI Goodfire ให้เหตุผลว่าการทำความเข้าใจเรขาคณิตของโครงข่ายประสาทเทียมสามารถเปลี่ยนการฝึกโมเดลให้เป็นกระบวนการแบบวงปิดได้: ตรวจสอบสิ่งที่โมเดลได้เรียนรู้ ระบุปัญหา แทรกแซง และประเมินผลลัพธ์ แนวทางดังกล่าวจะมีความสำคัญในทางปฏิบัติหากเป็นภาพรวมของตระกูลโมเดลและงานต่างๆ นอกจากนี้ยังช่วยให้วิศวกรและผู้ตรวจสอบสามารถเข้าใจการพัฒนาแบบจำลองได้ง่ายขึ้นด้วยการเชื่อมโยงผลลัพธ์เข้ากับหลักฐานภายใน แทนที่จะอาศัยเพียงคะแนนเกณฑ์มาตรฐานรวมเท่านั้น
มีข้อจำกัดที่สำคัญเกี่ยวกับสิ่งที่ประกาศแสดง แบบจำลองสามารถสร้างคำอธิบายที่เป็นประโยชน์ได้โดยไม่ต้องอาศัยคำอธิบายที่น่าเชื่อถือเกี่ยวกับการคำนวณที่สร้างผลลัพธ์ หน้านี้ยืนยันว่า Silico สามารถเปิดเผยกลไกเชิงสาเหตุได้ แต่ไม่ได้กำหนดการทดสอบเชิงสาเหตุที่ใช้หรืออธิบายว่านักวิจัยป้องกันความสัมพันธ์ที่ทำให้เข้าใจผิดได้อย่างไร ในทำนองเดียวกัน การปรับปรุงเปอร์เซ็นต์ที่รายงานจะไม่แสดงว่าการได้รับยังคงมีอยู่ในชุดข้อมูล เวอร์ชันของโมเดล หรือเงื่อนไขที่ไม่ตรงกัน การประกาศดังกล่าวกำหนดทิศทางผลิตภัณฑ์และชุดคำกล่าวอ้างของบริษัท ไม่ใช่ข้อพิสูจน์อิสระว่าความสามารถในการตีความมีความน่าเชื่อถือในระบบ AI
กลไกเชิงโต้ตอบ: มันทำงานอย่างไร
สำรวจเทคโนโลยีเบื้องหลังการพัฒนานี้แบบโต้ตอบ
Which component of an AI application is the machine-learning model itself?
จะดูอะไรต่อไป.
แหล่งที่มาไม่ได้ระบุว่า Silico พร้อมใช้งานเมื่อใด รุ่นที่รองรับ ราคาเท่าไร หรือการปรับปรุงที่รายงานได้รับการทำซ้ำอย่างอิสระหรือไม่ หลักฐานที่สำคัญที่สุดลำดับต่อไปคือเอกสารทางเทคนิค วิธีการประเมิน รายละเอียดการเข้าถึง และการสาธิตที่แยกแยะความเข้าใจเชิงสาเหตุจากคำอธิบายที่ดูน่าเชื่อถือ
สิ่งแรกที่เราไม่รู้คือจังหวะและการเข้าถึง แหล่งที่มาใช้ภาษาของการแนะนำและมีตัวเลือกในการขอการสาธิตหรือดาวน์โหลด Silico สำหรับ macOS แต่จะไม่แสดงวันที่เผยแพร่สำหรับการประกาศผลิตภัณฑ์หรือระบุว่าแพลตฟอร์มพร้อมใช้งานโดยทั่วไปหรือไม่ นอกจากนี้ยังไม่ได้ระบุราคา เงื่อนไขการออกใบอนุญาต ฮาร์ดแวร์ที่รองรับ ตัวเชื่อมต่อโมเดล เงื่อนไขความเป็นส่วนตัว หรือระบุว่าลูกค้าสามารถเรียกใช้ทั้งหมดภายในโครงสร้างพื้นฐานของตนเองได้หรือไม่ รายละเอียดเหล่านั้นจะกำหนดว่า Silico เป็นผลิตภัณฑ์ที่ใช้งานได้ทั่วไปหรือเป็นการวิจัยและบริการระดับองค์กรเป็นหลัก
หลักฐานทางเทคนิคควรเป็นจุดสนใจต่อไป หน้าของ Goodfire เชื่อมโยงไปยังหัวข้อการวิจัย รวมถึงโครงสร้างภายในของโครงข่ายประสาทเทียม การบังคับทิศทางต่างๆ และการตีความพารามิเตอร์โมเดลภาษา แต่แหล่งข้อมูลที่ให้มาไม่รวมถึงเอกสารหรือวิธีการที่เกี่ยวข้อง การตรวจสอบที่เป็นประโยชน์จะต้องมีคำจำกัดความที่ชัดเจนของคุณลักษณะที่กำลังถูกตีความ ขั้นตอนการแทรกแซง วิธีการเปรียบเทียบ กรณีความล้มเหลว และการทดสอบที่แสดงว่าการตีความทำนายพฤติกรรมภายใต้เงื่อนไขใหม่ รหัสที่ทำซ้ำได้หรือเอกสารประกอบที่มีรายละเอียดเพียงพอจะทำให้ผลลัพธ์ที่รายงานง่ายต่อการประเมิน
คำถามเกี่ยวกับการปรับใช้มีความสำคัญไม่แพ้กัน เครื่องมือการตีความอาจใช้กับโมเดลที่จัดการข้อมูลทางการแพทย์ พันธุกรรม ไบโอเมตริกซ์ หรือการปฏิบัติงาน แต่ประกาศดังกล่าวไม่ได้อธิบายถึงการกำกับดูแลข้อมูล การควบคุมการเข้าถึง การบันทึก แนวปฏิบัติด้านความปลอดภัย หรือการป้องกันการแทรกแซงที่เป็นอันตราย นอกจากนี้ยังไม่ได้อธิบายว่าการตรวจสอบแบบจำลองเผยให้เห็นข้อมูลการฝึกอบรมที่ละเอียดอ่อนหรือไม่ หรือการเปลี่ยนแปลงที่แพลตฟอร์มแนะนำสามารถทำให้เกิดโหมดความล้มเหลวใหม่ได้หรือไม่ ลูกค้าที่พิจารณาว่าระบบจะต้องการหลักฐานเกี่ยวกับวิธีการตรวจสอบข้อค้นพบโดยผู้เชี่ยวชาญในโดเมน และวิธีย้อนกลับการแทรกแซงเมื่อก่อให้เกิดผลที่ไม่คาดคิด
เหตุการณ์สำคัญของผลิตภัณฑ์ที่มีความหมายจะแสดงให้เห็นการใช้งานอย่างอิสระในแบบจำลองมากกว่าหนึ่งประเภท พร้อมผลลัพธ์ที่รอดพ้นจากการเปลี่ยนแปลงข้อมูลและเกณฑ์การประเมิน เฝ้าดูนักวิจัยภายนอกหรือลูกค้ารายงานว่าคำอธิบายของ Silico สอดคล้องกับกลไกแบบจำลองจริงหรือไม่ การแทรกแซงช่วยปรับปรุงประสิทธิภาพโดยไม่มีการแลกเปลี่ยนที่ซ่อนอยู่ และดูว่าการประหยัดโทเค็นหรือต้นทุนการแทรกแซงที่อ้างสิทธิ์ยังคงมีอยู่ในระดับการดำเนินงานหรือไม่ จนกว่าหลักฐานดังกล่าวจะปรากฏขึ้น ข้อสรุปที่ได้รับการสนับสนุนมากที่สุดนั้นแคบลง: Goodfire กำลังเสนอแพลตฟอร์มที่มีศูนย์กลางอยู่ที่การตีความได้ และอ้างว่าการวิเคราะห์แบบจำลองภายในสามารถรองรับการพัฒนา AI ที่ตรงเป้าหมายมากขึ้น