Black Forest Labs เปิดตัวโมเดลหุ่นยนต์น้ำหนักเปิด FLUX 3 Action

เกิดอะไรขึ้น

Black Forest Labs (BFL) เปิดตัว FLUX 3 Action ซึ่งเป็น 'World Action Model' ขนาดเปิด 7 พันล้านพารามิเตอร์ที่ออกแบบมาสำหรับหุ่นยนต์ แบบจำลองใช้การสังเกตจากกล้อง สถานะของหุ่นยนต์ และคำสั่งภาษาธรรมชาติเพื่อสร้างการเคลื่อนไหวทางกายภาพ BFL รายงานอัตราความสำเร็จที่ 42.92% ของเกณฑ์มาตรฐาน RoboLab-120 ของ NVIDIA ซึ่งเหนือกว่าผู้นำก่อนหน้านี้อย่าง Cosmos3-Nano-Policy (พารามิเตอร์ 16B) ของ NVIDIA อยู่ที่ 6.1 เปอร์เซ็นต์ การเปิดตัวประกอบด้วยน้ำหนัก รหัส และสูตรการปรับแต่ง ช่วยให้นักพัฒนาสามารถปรับโมเดลให้เข้ากับหุ่นยนต์เฉพาะได้โดยใช้เฟรมเวิร์ก เช่น LeRobot

Black Forest Labs ซึ่งเป็นที่รู้จักจากโมเดลรูปภาพและวิดีโอ FLUX ได้ขยายไปสู่วิทยาการหุ่นยนต์ด้วยการเปิดตัว FLUX 3 Action โมเดล 7 พันล้านพารามิเตอร์นี้เป็น 'World Action Model' (WAM) แบบเปิดน้ำหนักที่ประมวลผลอินพุตของกล้อง สถานะของระบบ และคำสั่งข้อความเพื่อแสดงลำดับของการเคลื่อนไหวทางกายภาพ 32 รูปแบบ พร้อมกับการทำนายวิวัฒนาการของฉากที่มองเห็นได้

จากข้อมูลของ VentureBeat BFL รายงานว่า FLUX 3 Action มีอัตราความสำเร็จโดยรวมที่ 42.92% บนเกณฑ์มาตรฐาน RoboLab-120 ของ NVIDIA คะแนนนี้สูงกว่ารุ่นเปิดบนสุดก่อนหน้า นั่นคือ Cosmos3-Nano-Policy ของ NVIDIA อยู่ที่ 6.1 เปอร์เซ็นต์ โดยเฉพาะอย่างยิ่ง FLUX 3 Action ใช้พารามิเตอร์เพียง 7 พันล้านเมื่อเทียบกับ Cosmos ที่ 16 พันล้าน และ BFL อ้างว่าทำงานเร็วขึ้น 1.43 เท่า ทำให้เกิดขอบเขต Pareto ใหม่ในด้านประสิทธิภาพและสมรรถนะ

การเปิดตัวประกอบด้วยน้ำหนักโมเดล รหัส สูตรการปรับแต่ง และตัวอย่างที่ทำซ้ำได้ BFL ระบุว่าทีมต่างๆ สามารถปรับแต่งโมเดลได้โดยใช้การสาธิตที่รวบรวมจากหุ่นยนต์ของตนเอง โดยเฉพาะอย่างยิ่งการกล่าวถึงความเข้ากันได้กับหุ่นยนต์ SO-101 และเฟรมเวิร์ก LeRobot ของ Hugging Face บริษัทยังได้สาธิตความสามารถของโมเดลในสภาพแวดล้อมที่ไม่ใช่หุ่นยนต์ รวมถึงโดรนบินได้ และการเล่นวิดีโอเกม Doom โดยไม่มีการเสียชีวิตในเกม แม้ว่าสิ่งเหล่านี้จะถือเป็นการทดลองในช่วงแรกๆ ก็ตาม

BFL แสดงตัวอย่าง FLUX 3 Action เป็นครั้งแรกในเดือนกรกฎาคม เมื่อเปิดตัวตระกูล FLUX 3 ที่กว้างขึ้น แต่ในตอนแรกถูกจำกัดไว้เฉพาะพันธมิตรด้านการวิจัยและเชิงพาณิชย์ที่เลือกเท่านั้น รุ่นปัจจุบันถือเป็นการเปลี่ยนแปลงไปสู่การเข้าถึงที่กว้างขึ้น แม้ว่าราคา API เชิงพาณิชย์เฉพาะสำหรับโมเดล Action ยังไม่ได้ประกาศก็ตาม แบบจำลองนี้สร้างขึ้นจากการวิจัย Self-Flow ของ BFL ซึ่งมีจุดมุ่งหมายเพื่อเรียนรู้การนำเสนอการเคลื่อนไหวและสาเหตุและผลกระทบที่มีประโยชน์จากข้อมูลวิดีโอ โดยไม่ต้องอาศัยแบบจำลองการแช่แข็งแยกต่างหาก

รายละเอียดที่มา: venturebeat.com ↗

ทำไมมันถึงสำคัญ

การเปิดตัวครั้งนี้มีความสำคัญเนื่องจากเป็นทางเลือกที่กะทัดรัดและน้ำหนักเปิดแทนโมเดลหุ่นยนต์ที่เป็นกรรมสิทธิ์หรือแบบปิดที่มีขนาดใหญ่กว่า ด้วยการได้รับคะแนนมาตรฐานที่สูงขึ้นด้วยพารามิเตอร์ที่น้อยลง (7B เทียบกับ 16B) และการอนุมานที่เร็วขึ้น BFL จึงลดอุปสรรคในการเข้าร่วมสำหรับทีมที่ต้องการปรับใช้นโยบายโรบอติกขั้นสูงโดยไม่ต้องใช้ทรัพยากรการประมวลผลขนาดใหญ่ ลักษณะแบบ open-weight ช่วยให้มีการปรับแต่งในท้องถิ่นและความเป็นส่วนตัวของข้อมูล ซึ่งเป็นสิ่งสำคัญสำหรับการใช้งานทางอุตสาหกรรมซึ่งข้อมูลที่เป็นกรรมสิทธิ์ไม่สามารถออกจากโรงงานได้ นอกจากนี้ยังตรวจสอบแนวทาง 'World Action Model' ซึ่งการฝึกอบรมล่วงหน้าด้วยวิดีโอแจ้งการควบคุมทางกายภาพ ซึ่งอาจช่วยลดความจำเป็นในการรวบรวมข้อมูลเฉพาะหุ่นยนต์อย่างกว้างขวาง

การเปิดตัว FLUX 3 Action เป็นผลสืบเนื่องสำหรับอุตสาหกรรมหุ่นยนต์ เนื่องจากมีตัวเลือกประสิทธิภาพสูง น้ำหนักเปิดที่ท้าทายโมเดลที่ใหญ่กว่าและใช้ทรัพยากรมาก ด้วยการบรรลุผลการวัดประสิทธิภาพที่เหนือกว่าด้วยพารามิเตอร์ที่น้อยลง BFL แสดงให้เห็นว่าประสิทธิภาพและประสิทธิภาพไม่ได้แยกจากกัน ซึ่งเป็นสิ่งสำคัญสำหรับการปรับใช้ Edge ที่ซึ่งทรัพยากรการประมวลผลมีจำกัด

สำหรับนักพัฒนา ลักษณะแบบ open-weight ของโมเดลคือตัวสร้างความแตกต่างที่สำคัญ ช่วยให้ทีมสามารถตรวจสอบ แก้ไข และปรับแต่งโมเดลภายในโครงสร้างพื้นฐานของตนเอง เพื่อให้มั่นใจว่าการสาธิตหุ่นยนต์และข้อมูลการปฏิบัติงานที่เป็นกรรมสิทธิ์ยังคงเป็นส่วนตัว นี่เป็นข้อได้เปรียบที่สำคัญเหนือบริการโฮสต์หุ่นยนต์หรือโมเดลที่เป็นกรรมสิทธิ์ เช่น Google Robotics On-Device 2 ของ Google Robotics On-Device 2 ซึ่งจำกัดเฉพาะผู้ทดสอบที่เลือก

สถาปัตยกรรมของแบบจำลองซึ่งรวมการฝึกล่วงหน้าด้วยวิดีโอเข้ากับการสร้างการกระทำ สอดคล้องกับแนวโน้มที่เพิ่มขึ้นของการใช้แบบจำลองเชิงกำเนิดเพื่อทำความเข้าใจพลวัตทางกายภาพ วิธีการนี้อาจลดปริมาณข้อมูลเฉพาะหุ่นยนต์ที่จำเป็นสำหรับการฝึกอบรม เนื่องจากโมเดลสามารถใช้ประโยชน์จากการนำเสนอภาพและทางกายภาพในวงกว้างที่เรียนรู้จากวิดีโอ สิ่งนี้สามารถเร่งการพัฒนาระบบหุ่นยนต์สำหรับงานต่างๆ เช่น การคัดแยก การประกอบ และการนำทาง

อย่างไรก็ตาม ผลกระทบในทางปฏิบัติขึ้นอยู่กับข้อกำหนดสิทธิ์การใช้งานขั้นสุดท้ายและความสามารถของทีมภายนอกในการทำซ้ำผลลัพธ์ที่รายงาน เกณฑ์มาตรฐานด้านวิทยาการหุ่นยนต์มักกระจัดกระจาย และการเปรียบเทียบโดยตรงระหว่างสถาปัตยกรรมโมเดลต่างๆ (WAM, VLA และโมเดลการให้เหตุผล) เป็นเรื่องยาก ความสำเร็จของ FLUX 3 Action ในท้ายที่สุดจะขึ้นอยู่กับประสิทธิภาพในสภาพแวดล้อมหุ่นยนต์ในโลกแห่งความเป็นจริงที่หลากหลาย มากกว่าที่จะเป็นเพียงการวัดประสิทธิภาพการจำลอง

จะดูอะไรต่อไป.

นักพัฒนาควรตรวจสอบความพร้อมใช้งานของข้อกำหนดสิทธิ์การใช้งานเชิงพาณิชย์ขั้นสุดท้าย เนื่องจากเวอร์ชันปัจจุบันมีไว้สำหรับการวิจัยและการเข้าถึงของพันธมิตรเป็นหลัก การสร้างผลลัพธ์การวัดประสิทธิภาพโดยอิสระบนฮาร์ดแวร์ที่หลากหลายเป็นสิ่งสำคัญ เนื่องจากการวัดประสิทธิภาพด้านหุ่นยนต์มักจะขาดมาตรฐาน นอกจากนี้ ให้จับตาดูการรวม FLUX 3 Action เข้ากับ API เชิงพาณิชย์ที่กว้างขึ้น หรือดูว่า BFL จะขยายกลยุทธ์แบบโอเพ่นคอร์เพื่อรวมจุดสิ้นสุดเฉพาะสำหรับหุ่นยนต์มากขึ้นหรือไม่

ปัจจัยที่ต้องจับตามองทันทีคือการเผยแพร่ข้อกำหนดสิทธิ์การใช้งานเชิงพาณิชย์ขั้นสุดท้ายสำหรับ FLUX 3 Action แม้ว่า BFL จะเปิดเผยน้ำหนักและรหัสแล้ว แต่เงื่อนไขเฉพาะสำหรับการใช้งานเชิงพาณิชย์ การแจกจ่ายซ้ำ และการแก้ไขยังไม่มีรายละเอียดทั้งหมด สิ่งนี้จะกำหนดว่าโมเดลนี้สามารถนำมาใช้ได้อย่างกว้างขวางเพียงใดในการตั้งค่าทางอุตสาหกรรม

การตรวจสอบผลการวัดประสิทธิภาพโดยอิสระเป็นสิ่งสำคัญ อัตราความสำเร็จที่รายงานของ BFL 42.92% บน RoboLab-120 อิงจากการทดสอบของพวกเขาเอง และกระดานผู้นำสาธารณะของ NVIDIA ยังไม่ได้รับการอัปเดตด้วยผลลัพธ์เหล่านี้ในขณะที่จัดทำรายงาน การทำซ้ำโดยกลุ่มวิจัยบุคคลที่สามจะมีความจำเป็นเพื่อยืนยันประสิทธิภาพของแบบจำลองและความสามารถทั่วไป

นักพัฒนาควรตรวจสอบการรวม FLUX 3 Action เข้ากับเฟรมเวิร์กและฮาร์ดแวร์หุ่นยนต์ที่มีอยู่ BFL ได้เน้นย้ำถึงความเข้ากันได้กับหุ่นยนต์ SO-101 และ LeRobot แต่ประสิทธิภาพของโมเดลบนแพลตฟอร์มหุ่นยนต์ทั่วไปอื่นๆ เช่น จาก NVIDIA หรือ Ai2 ยังคงต้องรอดูกันต่อไป ความง่ายในการปรับแต่งฮาร์ดแวร์ที่หลากหลายจะเป็นปัจจัยสำคัญในการนำไปใช้

ในที่สุด ภาพรวมการแข่งขันในวิทยาการหุ่นยนต์แบบเปิดกำลังพัฒนาอย่างรวดเร็ว ด้วยรุ่นต่างๆ เช่น MolmoAct 2 ของ Ai2 และ GR00T N1.7 ของ NVIDIA ที่มีวางจำหน่ายแล้ว ความสำเร็จของ FLUX 3 Action จะขึ้นอยู่กับความสามารถในการนำเสนอข้อได้เปรียบที่แตกต่างกันในแง่ของประสิทธิภาพ ประสิทธิภาพ และความสะดวกในการใช้งาน ในอีกไม่กี่เดือนข้างหน้าน่าจะได้เห็นการเปรียบเทียบและเกณฑ์มาตรฐานเพิ่มเติม เนื่องจากชุมชนทดสอบโมเดลในแอปพลิเคชันต่างๆ

คำแนะนำและแบบทดสอบที่เกี่ยวข้อง