คู่มือ AI แบบเห็นภาพ
การประมาณความลึกการแพร่กระจายของดาวเรือง
ดอกดาวเรืองนำแบบจำลองการแพร่กระจายของการสร้างภาพที่เตรียมไว้ล่วงหน้ามาใช้ใหม่ (การกระจายที่เสถียร) เพื่อคาดการณ์แผนที่ความลึกที่มีรายละเอียดสูง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
เจาะลึก
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) ปรับกรอบการประมาณความลึกใหม่เป็นปัญหาการสร้างแบบมีเงื่อนไข แทนที่จะฝึกฝนเครือข่ายเชิงลึกตั้งแต่เริ่มต้น ระบบจะปรับแต่ง Stable Diffusion อย่างละเอียดเพื่อ 'สร้าง' แผนที่เชิงลึกที่มีเงื่อนไขบนภาพที่นำเข้า ข้อมูลเชิงลึกก็คือโมเดลที่ได้รับการฝึกฝนเพื่อสังเคราะห์ภาพที่เหมือนจริงนั้นได้เรียนรู้เรขาคณิตของฉาก แสง และโครงสร้างที่อยู่ลึกเข้าไปในพื้นที่แฝงของมันแล้ว ซึ่งสิ่งที่มาก่อนมีประโยชน์ในด้านความลึกอย่างแน่นอน เป็นที่น่าสังเกตว่า Marigold ได้รับการปรับแต่งอย่างละเอียดบนชุดข้อมูลสังเคราะห์เท่านั้น (เช่น Hypersim และ Virtual KITTI) แต่ยังสรุปภาพรวมของภาพถ่ายจริงแบบ Zero-shot ได้ดี มันสร้างความลึกสัมพัทธ์ที่ไม่แปรเปลี่ยนด้วยความสัมพันธ์ที่มีรายละเอียดที่ละเอียดเป็นพิเศษ แม้ว่าการลดสัญญาณรบกวนแบบวนซ้ำจะทำให้มันช้ากว่าโมเดลฟีดไปข้างหน้า เช่น DepthAnything
การใช้งานจริงในโลกแห่งความเป็นจริง
แยกความลึกที่ละเอียดจากภาพถ่ายสถาปัตยกรรมและผลิตภัณฑ์เพื่อการปรับแสงและการจำลอง 3 มิติ
การสร้างแผนที่เชิงลึกที่มีรายละเอียดสูงซึ่งใช้เป็นเงื่อนไขสำหรับการสร้างรูปภาพและวิดีโอที่ควบคุมได้
การช่วยเหลือทีมภาพยนตร์และ VFX ในงานด้านและงานพารัลแลกซ์โดยคำนึงถึงความแม่นยำของขอบ
ทำหน้าที่เป็นพื้นฐานการวิจัยที่แสดงวิธีปรับนักบวชทั่วไปให้เข้ากับงานทำนายที่หนาแน่น
อนาคตของการประมาณความลึกการแพร่กระจายของดาวเรือง
สูตรดอกดาวเรืองเป็นการปรับแต่งอย่างละเอียดสำหรับการทำนายที่หนาแน่น โดยครอบคลุมมากกว่าความลึกสู่พื้นผิวปกติ การสลายตัวของภาพจากภายใน และการประมาณค่าวัสดุ รูปแบบการกลั่นที่เร็วขึ้นและความสม่ำเสมอของโมเดลกำลังปิดช่องว่างความเร็วด้วยเครือข่ายฟีดฟอร์เวิร์ด ทำให้การรับรู้ตามการแพร่กระจายเป็นไปได้ในเครื่องมือเชิงโต้ตอบ คาดว่าจะมีแนวโน้มที่กว้างขึ้น โดยที่แกนหลักกำเนิดที่ได้รับการฝึกล่วงหน้าหนึ่งตัวจะถูกปรับให้เข้ากับงานเรขาคณิตและการรับรู้จำนวนมาก ซึ่งช่วยลดความจำเป็นในการใช้ชุดข้อมูลที่มีป้ายกำกับเฉพาะงานขนาดใหญ่
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Marigold Diffusion Depth Estimation quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Marigold Diffusion Depth Estimation?
ดอกดาวเรืองนำแบบจำลองการแพร่กระจายของการสร้างภาพที่เตรียมไว้ล่วงหน้ามาใช้ใหม่ (การกระจายที่เสถียร) เพื่อคาดการณ์แผนที่ความลึกที่มีรายละเอียดสูง มันแสดงให้เห็นว่าคุณสามารถเปลี่ยนความรู้ด้านภาพอันเข้มข้นของเครื่องกำเนิดไฟฟ้าให้เป็นเครื่องมือการรับรู้ที่แม่นยำโดยใช้ข้อมูลการฝึกอบรมเพียงเล็กน้อยอย่างน่าประหลาดใจ
ดาวเรืองสร้างแบบจำลองใดไว้ล่วงหน้า?
ดอกดาวเรืองปรับแต่งแบบจำลองการแพร่กระจายแฝงที่เสถียรการแพร่กระจายเพื่อสร้างแผนที่เชิงลึก
ดาวเรืองกำหนดกรอบงานการประมาณความลึกอย่างไร
โดยถือว่าความลึกเป็นสิ่งที่ต้อง 'สร้าง' โดยมีเงื่อนไขบนอิมเมจอินพุต โดยนำกลไกการแพร่กระจายกลับมาใช้ใหม่
มีอะไรน่าประหลาดใจเกี่ยวกับข้อมูลการฝึกของดาวเรือง?
ดาวเรืองได้รับการปรับแต่งอย่างละเอียดจากข้อมูลสังเคราะห์ เช่น Hypersim และ Virtual KITTI แต่ปรับภาพจากศูนย์ช็อตให้เป็นภาพจริง
เหตุใดดาวเรืองโดยทั่วไปจึงช้ากว่าแบบจำลองเชิงลึกแบบป้อนไปข้างหน้า
แบบจำลองการแพร่กระจายปฏิเสธหลายขั้นตอน ทำให้การอนุมานช้ากว่าการส่งต่อครั้งเดียว
ดาวเรืองดำเนินการกระบวนการแพร่กระจายในพื้นที่ใด
ทั้งภาพและความลึกถูกเข้ารหัสลงในพื้นที่แฝงของ VAE โดยที่ U-Net ปฏิเสธ
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้