ภาพรวม
Liquid AI คือการสร้างแบบจำลอง Liquid Foundation Models (LFM) ของ MIT ที่ละทิ้ง Transformer มาตรฐานสำหรับสถาปัตยกรรมที่ได้รับแรงบันดาลใจจากระบบไดนามิก เป้าหมายคือโมเดลขนาดเล็ก รวดเร็ว และมีประสิทธิภาพหน่วยความจำที่ทำงานบนโทรศัพท์และอุปกรณ์ Edge โดยไม่สูญเสียคุณภาพมากเกินไป
Liquid AI และ Liquid Foundation Models เป็นที่เข้าใจได้ดีที่สุดในบริบทของกลยุทธ์ การเข้าถึงโมเดล การตัดสินใจของแพลตฟอร์ม และความร่วมมือในระบบนิเวศ
เจาะลึก
Liquid AI ก่อตั้งขึ้นในปี 2023 โดย Ramin Hasani, Mathias Lechner, Alexander Amini และ Daniela Rus ซึ่งเป็นทีมงาน MIT CSAIL ที่อยู่เบื้องหลัง 'เครือข่ายประสาทเทียมเหลว' สิ่งเหล่านี้มีต้นกำเนิดมาจากการศึกษาหนอนไส้เดือนฝอย C. elegans ซึ่งมีสมอง 302 เซลล์ประสาทเล็กๆ เป็นแรงบันดาลใจให้กับเครือข่าย Liquid Time-constant (LTC) ซึ่งพฤติกรรมของเซลล์ประสาทแต่ละตัวเปลี่ยนแปลงอย่างต่อเนื่องเมื่อเวลาผ่านไปผ่านสมการเชิงอนุพันธ์ โมเดลเชิงพาณิชย์ของ Liquid ได้แก่ Liquid Foundation Models (LFM-1B, 3B, 40B) นำเสนอแนวคิดนี้ให้เหนือกว่า Transformers คุณลักษณะที่โดดเด่นคือพื้นที่หน่วยความจำที่เกือบจะคงที่เมื่อบริบทเพิ่มขึ้น ซึ่งแตกต่างจาก Transformers ที่มีบอลลูนแคชความสนใจที่มีความยาวลำดับ ในปี 2024 บริษัทได้ระดมทุน Series A ขนาดใหญ่ (รายงานรายได้ประมาณ 250 ล้านดอลลาร์) และต่อมาได้เปิดตัว LFM2 ซึ่งได้รับการปรับแต่งสำหรับการปรับใช้บนอุปกรณ์บนแล็ปท็อป โทรศัพท์ และรถยนต์
ข้อมูลเชิงลึกทางเทคนิค
Transformers จัดเก็บแคชคีย์-ค่าที่ขยายเป็นเส้นตรงตามความยาวอินพุต ดังนั้นบริบทที่ยาวจึงกินหน่วยความจำ LFM แทนที่จะใช้หน่วยคำนวณ 'ของเหลว' ที่สร้างขึ้นจากตัวดำเนินการพื้นที่สถานะที่มีโครงสร้างและตัวดำเนินการระบบไดนามิกที่บีบอัดข้อมูลในอดีตให้เป็นสถานะเกิดซ้ำที่มีขนาดคงที่ การคำนวณอธิบายโดยสมการเวลาต่อเนื่องซึ่งมีพารามิเตอร์ (เช่น ค่าคงที่เวลา) ปรับให้เข้ากับอินพุต ทำให้โมเดลจัดการลำดับที่ยาวด้วยหน่วยความจำแบบแบนโดยประมาณและเวลาแฝงที่คาดการณ์ได้ ซึ่งเหมาะอย่างยิ่งสำหรับฮาร์ดแวร์ Edge ที่จำกัดทรัพยากร
การเรียนรู้โมเดล Liquid AI และ Liquid Foundation
Liquid AI คือการสร้างแบบจำลอง Liquid Foundation Models (LFM) ของ MIT ที่ละทิ้ง Transformer มาตรฐานสำหรับสถาปัตยกรรมที่ได้รับแรงบันดาลใจจากระบบไดนามิก เป้าหมายคือโมเดลขนาดเล็ก รวดเร็ว และมีประสิทธิภาพหน่วยความจำที่ทำงานบนโทรศัพท์และอุปกรณ์ Edge โดยไม่สูญเสียคุณภาพมากเกินไป Liquid AI และ Liquid Foundation Models เป็นที่เข้าใจได้ดีที่สุดในบริบทของกลยุทธ์ การเข้าถึงโมเดล การตัดสินใจของแพลตฟอร์ม และความร่วมมือในระบบนิเวศ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Liquid AI และ Liquid Foundation Models เป็นแบบจำลองการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Liquid AI และ Liquid Foundation Models จะประเมินกลยุทธ์ของผู้จำหน่าย ความน่าเชื่อถือของแผนงาน และความเสี่ยงในการล็อคอินก่อนตัดสินใจ โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป ในขณะเดียวกัน การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป
โรดแมปของผู้จำหน่ายมีอิทธิพลต่อฟีเจอร์ที่ทีมของคุณสามารถสร้างได้ต่อไป ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว
ข้อกำหนดทางการค้าและตัวเลือกการใช้งานส่งผลต่อต้นทุนและความเสี่ยงในระยะยาว ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง
สิ่งจูงใจของบริษัทจะกำหนดค่าเริ่มต้นของผลิตภัณฑ์ ท่าทางที่ปลอดภัย และความเปิดกว้าง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
เรียกใช้ผู้ช่วยแชทที่มีความสามารถแบบออฟไลน์ทั้งหมดบนสมาร์ทโฟนเพื่อการใช้งานที่คำนึงถึงความเป็นส่วนตัว
การฝังความเข้าใจภาษาที่มีความหน่วงต่ำในรถยนต์เพื่อการควบคุมด้วยเสียงโดยไม่ต้องเดินทางไปกลับบนคลาวด์
การประมวลผลเอกสารหรือบันทึกที่ยาวมากบนแล็ปท็อปโดยที่แคชหน่วยความจำของ Transformer มีขนาดใหญ่เกินไป
ขับเคลื่อนหุ่นยนต์ Edge และอุปกรณ์ IoT โดยที่เครือข่ายของเหลวดั้งเดิมที่ได้รับแรงบันดาลใจจาก C. elegans เก่งในเรื่องการควบคุมอย่างต่อเนื่อง
รูปแบบการดำเนินงาน
Liquid AI และ Liquid Foundation Models ในทางปฏิบัติ
เรียกใช้ผู้ช่วยแชทที่มีความสามารถแบบออฟไลน์ทั้งหมดบนสมาร์ทโฟนเพื่อการใช้งานที่คำนึงถึงความเป็นส่วนตัว
การเรียกใช้ผู้ช่วยแชทที่มีความสามารถแบบออฟไลน์ทั้งหมดบนสมาร์ทโฟนเพื่อการใช้งานที่คำนึงถึงความเป็นส่วนตัว ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Liquid AI และ Liquid Foundation Models ในทางปฏิบัติ
การฝังความเข้าใจภาษาที่มีความหน่วงต่ำในรถยนต์เพื่อการควบคุมด้วยเสียงโดยไม่ต้องเดินทางไปกลับบนคลาวด์
การฝังความเข้าใจภาษาที่มีเวลาแฝงต่ำไว้ในรถยนต์สำหรับการควบคุมด้วยเสียงโดยไม่ต้องใช้ระบบคลาวด์ไปกลับ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Liquid AI และ Liquid Foundation Models ในทางปฏิบัติ
การประมวลผลเอกสารหรือบันทึกที่ยาวมากบนแล็ปท็อปโดยที่แคชหน่วยความจำของ Transformer มีขนาดใหญ่เกินไป
การประมวลผลเอกสารหรือบันทึกที่ยาวมากบนแล็ปท็อปโดยที่แคชหน่วยความจำของ Transformer มีขนาดใหญ่เกินไป ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Liquid AI และ Liquid Foundation Models ในทางปฏิบัติ
ขับเคลื่อนหุ่นยนต์ Edge และอุปกรณ์ IoT โดยที่เครือข่ายของเหลวดั้งเดิมที่ได้รับแรงบันดาลใจจาก C. elegans เก่งในเรื่องการควบคุมอย่างต่อเนื่อง
การขับเคลื่อนหุ่นยนต์ Edge และอุปกรณ์ IoT โดยที่เครือข่ายของเหลวที่ได้รับแรงบันดาลใจจาก C. elegans ดั้งเดิมมีความเป็นเลิศในด้านการควบคุมอย่างต่อเนื่อง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
การประกาศเปิดตัวอาจแซงหน้าความเสถียรในขั้นตอนการทำงานจริง
การกำหนดราคา API หรือการเปลี่ยนแปลงนโยบายสามารถทำลายสมมติฐานได้ในชั่วข้ามคืน
การพึ่งพาผู้ขายรายเดียวจะเพิ่มค่าใช้จ่ายในการล็อคอินและการย้ายข้อมูล
แผนงานการดำเนินงาน
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง
ประเมินผู้ให้บริการโดยใช้งานและชุดข้อมูลของคุณเอง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ
ตรวจสอบความเป็นส่วนตัว ความปลอดภัย และข้อกำหนดทางกฎหมายก่อนรวมระบบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย
รักษาแผนสำรองสำหรับรุ่นหรือผู้จำหน่าย ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ
ตรวจสอบบันทึกประจำรุ่นเพื่อให้การเปลี่ยนแปลงแผนงานไม่ทำให้ทีมแปลกใจ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น