การประมาณความลึกการแพร่กระจายของดาวเรือง
ดอกดาวเรืองนำแบบจำลองการแพร่กระจายของการสร้างภาพที่เตรียมไว้ล่วงหน้ามาใช้ใหม่ (การกระจายที่เสถียร) เพื่อคาดการณ์แผนที่ความลึกที่มีรายละเอียดสูง
ภาพรวม
It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.
เจาะลึก
Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) ปรับกรอบการประมาณความลึกใหม่เป็นปัญหาการสร้างแบบมีเงื่อนไข แทนที่จะฝึกฝนเครือข่ายเชิงลึกตั้งแต่เริ่มต้น ระบบจะปรับแต่ง Stable Diffusion อย่างละเอียดเพื่อ 'สร้าง' แผนที่เชิงลึกที่มีเงื่อนไขบนภาพที่นำเข้า ข้อมูลเชิงลึกก็คือโมเดลที่ได้รับการฝึกฝนเพื่อสังเคราะห์ภาพที่เหมือนจริงนั้นได้เรียนรู้เรขาคณิตของฉาก แสง และโครงสร้างที่อยู่ลึกเข้าไปในพื้นที่แฝงของมันแล้ว ซึ่งสิ่งที่มาก่อนมีประโยชน์ในด้านความลึกอย่างแน่นอน เป็นที่น่าสังเกตว่า Marigold ได้รับการปรับแต่งอย่างละเอียดบนชุดข้อมูลสังเคราะห์เท่านั้น (เช่น Hypersim และ Virtual KITTI) แต่ยังสรุปภาพรวมของภาพถ่ายจริงแบบ Zero-shot ได้ดี มันสร้างความลึกสัมพัทธ์ที่ไม่แปรเปลี่ยนด้วยความสัมพันธ์ที่มีรายละเอียดที่ละเอียดเป็นพิเศษ แม้ว่าการลดสัญญาณรบกวนแบบวนซ้ำจะทำให้มันช้ากว่าโมเดลฟีดไปข้างหน้า เช่น DepthAnything
ข้อมูลเชิงลึกทางเทคนิค
ดาวเรืองทำงานในพื้นที่แฝงของ Stable Diffusion ทั้งรูปภาพและแผนที่เชิงลึกได้รับการเข้ารหัสโดย VAE เดียวกัน U-Net ได้รับการปรับแต่งอย่างละเอียดเพื่อลดค่าแฝงเชิงลึกที่มีเงื่อนไขบนค่าแฝงของภาพที่สะอาด เมื่ออนุมาน มันจะรันลูป denoising วนซ้ำมาตรฐาน จากนั้นถอดรหัสค่าแฝงเชิงลึก เนื่องจากเป็นการสุ่มตัวอย่าง การรันหลายครั้งจึงสามารถประกอบเข้าด้วยกันเพื่อความเสถียร และการแลกเปลี่ยนการประมวลผลเพื่อความแม่นยำ ต่อมา 'LCM' และเวอร์ชันกลั่นแบบขั้นตอนเดียวจะตัดขั้นตอนหลายสิบขั้นให้เหลือเพียงขั้นตอนเดียว
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของการประมาณความลึกการแพร่กระจายของดาวเรือง
สูตรดอกดาวเรืองเป็นการปรับแต่งอย่างละเอียดสำหรับการทำนายที่หนาแน่น โดยครอบคลุมมากกว่าความลึกสู่พื้นผิวปกติ การสลายตัวของภาพจากภายใน และการประมาณค่าวัสดุ รูปแบบการกลั่นที่เร็วขึ้นและความสม่ำเสมอของโมเดลกำลังปิดช่องว่างความเร็วด้วยเครือข่ายฟีดฟอร์เวิร์ด ทำให้การรับรู้ตามการแพร่กระจายเป็นไปได้ในเครื่องมือเชิงโต้ตอบ คาดว่าจะมีแนวโน้มที่กว้างขึ้น โดยที่แกนหลักกำเนิดที่ได้รับการฝึกล่วงหน้าหนึ่งตัวจะถูกปรับให้เข้ากับงานเรขาคณิตและการรับรู้จำนวนมาก ซึ่งช่วยลดความจำเป็นในการใช้ชุดข้อมูลที่มีป้ายกำกับเฉพาะงานขนาดใหญ่
การใช้งานจริงในโลกแห่งความเป็นจริง
แยกความลึกที่ละเอียดจากภาพถ่ายสถาปัตยกรรมและผลิตภัณฑ์เพื่อการปรับแสงและการจำลอง 3 มิติ
การสร้างแผนที่เชิงลึกที่มีรายละเอียดสูงซึ่งใช้เป็นเงื่อนไขสำหรับการสร้างรูปภาพและวิดีโอที่ควบคุมได้
การช่วยเหลือทีมภาพยนตร์และ VFX ในงานด้านและงานพารัลแลกซ์โดยคำนึงถึงความแม่นยำของขอบ
ทำหน้าที่เป็นพื้นฐานการวิจัยที่แสดงวิธีปรับนักบวชทั่วไปให้เข้ากับงานทำนายที่หนาแน่น
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การประมาณความลึกตาข้างเดียว
คำถามที่พบบ่อย
What is Marigold Diffusion Depth Estimation?
ดอกดาวเรืองนำแบบจำลองการแพร่กระจายของการสร้างภาพที่เตรียมไว้ล่วงหน้ามาใช้ใหม่ (การกระจายที่เสถียร) เพื่อคาดการณ์แผนที่ความลึกที่มีรายละเอียดสูง มันแสดงให้เห็นว่าคุณสามารถเปลี่ยนความรู้ด้านภาพอันเข้มข้นของเครื่องกำเนิดไฟฟ้าให้เป็นเครื่องมือการรับรู้ที่แม่นยำโดยใช้ข้อมูลการฝึกอบรมเพียงเล็กน้อยอย่างน่าประหลาดใจ
ดาวเรืองสร้างแบบจำลองใดไว้ล่วงหน้า?
ดอกดาวเรืองปรับแต่งแบบจำลองการแพร่กระจายแฝงที่เสถียรการแพร่กระจายเพื่อสร้างแผนที่เชิงลึก
ดาวเรืองกำหนดกรอบงานการประมาณความลึกอย่างไร
โดยถือว่าความลึกเป็นสิ่งที่ต้อง 'สร้าง' โดยมีเงื่อนไขบนอิมเมจอินพุต โดยนำกลไกการแพร่กระจายกลับมาใช้ใหม่
มีอะไรน่าประหลาดใจเกี่ยวกับข้อมูลการฝึกของดาวเรือง?
ดาวเรืองได้รับการปรับแต่งอย่างละเอียดจากข้อมูลสังเคราะห์ เช่น Hypersim และ Virtual KITTI แต่ปรับภาพจากศูนย์ช็อตให้เป็นภาพจริง
เหตุใดดาวเรืองโดยทั่วไปจึงช้ากว่าแบบจำลองเชิงลึกแบบป้อนไปข้างหน้า
แบบจำลองการแพร่กระจายปฏิเสธหลายขั้นตอน ทำให้การอนุมานช้ากว่าการส่งต่อครั้งเดียว
ดาวเรืองดำเนินการกระบวนการแพร่กระจายในพื้นที่ใด
ทั้งภาพและความลึกถูกเข้ารหัสลงในพื้นที่แฝงของ VAE โดยที่ U-Net ปฏิเสธ