คู่มือ AI แบบเห็นภาพ

การประมาณความลึกการแพร่กระจายของดาวเรือง

ดอกดาวเรืองนำแบบจำลองการแพร่กระจายของการสร้างภาพที่เตรียมไว้ล่วงหน้ามาใช้ใหม่ (การกระจายที่เสถียร) เพื่อคาดการณ์แผนที่ความลึกที่มีรายละเอียดสูง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการประมาณความลึกการแพร่กระจายของดาวเรือง
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It shows you can turn a generator's rich visual knowledge into a precise perception tool with surprisingly little training data.

เจาะลึก

Marigold (ETH Zurich, CVPR 2024 Best Paper Honorable Mention) ปรับกรอบการประมาณความลึกใหม่เป็นปัญหาการสร้างแบบมีเงื่อนไข แทนที่จะฝึกฝนเครือข่ายเชิงลึกตั้งแต่เริ่มต้น ระบบจะปรับแต่ง Stable Diffusion อย่างละเอียดเพื่อ 'สร้าง' แผนที่เชิงลึกที่มีเงื่อนไขบนภาพที่นำเข้า ข้อมูลเชิงลึกก็คือโมเดลที่ได้รับการฝึกฝนเพื่อสังเคราะห์ภาพที่เหมือนจริงนั้นได้เรียนรู้เรขาคณิตของฉาก แสง และโครงสร้างที่อยู่ลึกเข้าไปในพื้นที่แฝงของมันแล้ว ซึ่งสิ่งที่มาก่อนมีประโยชน์ในด้านความลึกอย่างแน่นอน เป็นที่น่าสังเกตว่า Marigold ได้รับการปรับแต่งอย่างละเอียดบนชุดข้อมูลสังเคราะห์เท่านั้น (เช่น Hypersim และ Virtual KITTI) แต่ยังสรุปภาพรวมของภาพถ่ายจริงแบบ Zero-shot ได้ดี มันสร้างความลึกสัมพัทธ์ที่ไม่แปรเปลี่ยนด้วยความสัมพันธ์ที่มีรายละเอียดที่ละเอียดเป็นพิเศษ แม้ว่าการลดสัญญาณรบกวนแบบวนซ้ำจะทำให้มันช้ากว่าโมเดลฟีดไปข้างหน้า เช่น DepthAnything

การใช้งานจริงในโลกแห่งความเป็นจริง

แยกความลึกที่ละเอียดจากภาพถ่ายสถาปัตยกรรมและผลิตภัณฑ์เพื่อการปรับแสงและการจำลอง 3 มิติ

การสร้างแผนที่เชิงลึกที่มีรายละเอียดสูงซึ่งใช้เป็นเงื่อนไขสำหรับการสร้างรูปภาพและวิดีโอที่ควบคุมได้

การช่วยเหลือทีมภาพยนตร์และ VFX ในงานด้านและงานพารัลแลกซ์โดยคำนึงถึงความแม่นยำของขอบ

ทำหน้าที่เป็นพื้นฐานการวิจัยที่แสดงวิธีปรับนักบวชทั่วไปให้เข้ากับงานทำนายที่หนาแน่น

อนาคตของการประมาณความลึกการแพร่กระจายของดาวเรือง

สูตรดอกดาวเรืองเป็นการปรับแต่งอย่างละเอียดสำหรับการทำนายที่หนาแน่น โดยครอบคลุมมากกว่าความลึกสู่พื้นผิวปกติ การสลายตัวของภาพจากภายใน และการประมาณค่าวัสดุ รูปแบบการกลั่นที่เร็วขึ้นและความสม่ำเสมอของโมเดลกำลังปิดช่องว่างความเร็วด้วยเครือข่ายฟีดฟอร์เวิร์ด ทำให้การรับรู้ตามการแพร่กระจายเป็นไปได้ในเครื่องมือเชิงโต้ตอบ คาดว่าจะมีแนวโน้มที่กว้างขึ้น โดยที่แกนหลักกำเนิดที่ได้รับการฝึกล่วงหน้าหนึ่งตัวจะถูกปรับให้เข้ากับงานเรขาคณิตและการรับรู้จำนวนมาก ซึ่งช่วยลดความจำเป็นในการใช้ชุดข้อมูลที่มีป้ายกำกับเฉพาะงานขนาดใหญ่

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Marigold Diffusion Depth Estimation quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Marigold Diffusion Depth Estimation?

ดอกดาวเรืองนำแบบจำลองการแพร่กระจายของการสร้างภาพที่เตรียมไว้ล่วงหน้ามาใช้ใหม่ (การกระจายที่เสถียร) เพื่อคาดการณ์แผนที่ความลึกที่มีรายละเอียดสูง มันแสดงให้เห็นว่าคุณสามารถเปลี่ยนความรู้ด้านภาพอันเข้มข้นของเครื่องกำเนิดไฟฟ้าให้เป็นเครื่องมือการรับรู้ที่แม่นยำโดยใช้ข้อมูลการฝึกอบรมเพียงเล็กน้อยอย่างน่าประหลาดใจ

ดาวเรืองสร้างแบบจำลองใดไว้ล่วงหน้า?

ดอกดาวเรืองปรับแต่งแบบจำลองการแพร่กระจายแฝงที่เสถียรการแพร่กระจายเพื่อสร้างแผนที่เชิงลึก

ดาวเรืองกำหนดกรอบงานการประมาณความลึกอย่างไร

โดยถือว่าความลึกเป็นสิ่งที่ต้อง 'สร้าง' โดยมีเงื่อนไขบนอิมเมจอินพุต โดยนำกลไกการแพร่กระจายกลับมาใช้ใหม่

มีอะไรน่าประหลาดใจเกี่ยวกับข้อมูลการฝึกของดาวเรือง?

ดาวเรืองได้รับการปรับแต่งอย่างละเอียดจากข้อมูลสังเคราะห์ เช่น Hypersim และ Virtual KITTI แต่ปรับภาพจากศูนย์ช็อตให้เป็นภาพจริง

เหตุใดดาวเรืองโดยทั่วไปจึงช้ากว่าแบบจำลองเชิงลึกแบบป้อนไปข้างหน้า

แบบจำลองการแพร่กระจายปฏิเสธหลายขั้นตอน ทำให้การอนุมานช้ากว่าการส่งต่อครั้งเดียว

ดาวเรืองดำเนินการกระบวนการแพร่กระจายในพื้นที่ใด

ทั้งภาพและความลึกถูกเข้ารหัสลงในพื้นที่แฝงของ VAE โดยที่ U-Net ปฏิเสธ

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →