গাঁদা বিচ্ছুরণ গভীরতা অনুমান
ম্যারিগোল্ড অত্যন্ত বিস্তারিত গভীরতার মানচিত্রগুলির পূর্বাভাস দেওয়ার জন্য একটি পূর্বপ্রশিক্ষিত চিত্র-প্রজন্মের বিচ্ছুরণ মডেল (স্থিতিশীল বিচ্ছুরণ) পুনর্নির্মাণ করে।
ওভারভিউ
এটি দেখায় যে আপনি আশ্চর্যজনকভাবে সামান্য প্রশিক্ষণ ডেটা সহ একটি জেনারেটরের সমৃদ্ধ ভিজ্যুয়াল জ্ঞানকে একটি সুনির্দিষ্ট উপলব্ধি সরঞ্জামে পরিণত করতে পারেন।
গভীর ডুব
মেরিগোল্ড (ETH জুরিখ, CVPR 2024 সেরা পেপার অনারেবল মেনশন) একটি শর্তসাপেক্ষ প্রজন্মের সমস্যা হিসাবে গভীরতার অনুমানকে পুনরায় ফ্রেম করে। স্ক্র্যাচ থেকে একটি গভীরতার নেটওয়ার্ককে প্রশিক্ষণ দেওয়ার পরিবর্তে, এটি একটি ইনপুট চিত্রের উপর শর্তযুক্ত একটি গভীরতার মানচিত্র 'জেনারেট' করতে স্থিতিশীল ডিফিউশনকে সূক্ষ্ম সুর করে। অন্তর্দৃষ্টি হল যে ফটোরিয়েলিস্টিক ইমেজ সংশ্লেষিত করার জন্য প্রশিক্ষিত একটি মডেল ইতিমধ্যেই দৃশ্যের জ্যামিতি, আলো এবং কাঠামো তার সুপ্ত স্থানের গভীরে শিখেছে, যা গভীরতার জন্য উপযোগী। লক্ষণীয়ভাবে, ম্যারিগোল্ড শুধুমাত্র সিন্থেটিক ডেটাসেটগুলিতে (যেমন হাইপারসিম এবং ভার্চুয়াল কিটিটিআই) সূক্ষ্ম-টিউন করা হয়েছিল তবে বাস্তব ফটোগুলি জিরো-শট থেকে ভালভাবে সাধারণীকরণ করে। এটি ব্যতিক্রমীভাবে সূক্ষ্ম বিবরণ সহ affine-অপরিবর্তনীয় আপেক্ষিক গভীরতা তৈরি করে, যদিও পুনরাবৃত্তিমূলক ডিনোইসিং এটিকে DepthAnything-এর মত ফিড-ফরোয়ার্ড মডেলের তুলনায় ধীর করে তোলে।
প্রযুক্তিগত অন্তর্দৃষ্টি
ম্যারিগোল্ড স্থিতিশীল ডিফিউশনের সুপ্ত স্থানে কাজ করে। চিত্র এবং গভীরতার মানচিত্র উভয়ই একই VAE দ্বারা এনকোড করা হয়েছে; U-Net সূক্ষ্ম-টিউন করা হয়েছে একটি গভীরতা সুপ্ত ক্লিন ইমেজ সুপ্ত উপর শর্তযুক্ত denoise. অনুমানে এটি স্ট্যান্ডার্ড পুনরাবৃত্তিমূলক ডিনোইসিং লুপ চালায়, তারপর গভীরতার সুপ্ত ডিকোড করে। কারণ এটি নমুনা দেয়, স্থিতিশীলতার জন্য একাধিক রান একত্রিত করা যেতে পারে, সঠিকতার জন্য ট্রেডিং কম্পিউট। পরবর্তীতে 'এলসিএম' এবং এক-ধাপ পাতিত সংস্করণগুলি একক পাসে কয়েক ডজন ধাপ কমিয়ে দেয়।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
পছন্দগুলি তৈরি করুন
সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
টিম এবং ওয়ার্কফ্লো
অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।
মেরিগোল্ড ডিফিউশন গভীরতা অনুমানের ভবিষ্যত
ম্যারিগোল্ড রেসিপি, ঘন ভবিষ্যদ্বাণীর জন্য সূক্ষ্ম-টিউনিং ডিফিউশন প্রিয়ার্স, গভীরতা অতিক্রম করে পৃষ্ঠের স্বাভাবিকতা, অন্তর্নিহিত চিত্রের পচন এবং উপাদান অনুমানকে সাধারণীকরণ করছে। দ্রুত পাতিত এবং সামঞ্জস্য-মডেল ভেরিয়েন্টগুলি ফিড-ফরোয়ার্ড নেটওয়ার্কগুলির সাথে গতির ব্যবধান বন্ধ করে দিচ্ছে, যা ইন্টারেক্টিভ সরঞ্জামগুলিতে ডিফিউশন-ভিত্তিক উপলব্ধি কার্যকর করে তুলেছে। একটি বৃহত্তর প্রবণতা প্রত্যাশা করুন যেখানে একটি পূর্বপ্রশিক্ষিত জেনারেটিভ ব্যাকবোন অনেক জ্যামিতি এবং উপলব্ধি কাজের সাথে খাপ খাইয়ে নেওয়া হয়, বড় টাস্ক-নির্দিষ্ট লেবেলযুক্ত ডেটাসেটের প্রয়োজনীয়তা হ্রাস করে।
বাস্তব-বিশ্ব বাস্তবায়ন
রিলাইটিং এবং 3D মকআপের জন্য স্থাপত্য এবং পণ্যের ফটোগুলি থেকে সূক্ষ্ম-দানাযুক্ত গভীরতা বের করা।
নিয়ন্ত্রণযোগ্য চিত্র এবং ভিডিও তৈরির জন্য কন্ডিশনার হিসাবে ব্যবহৃত উচ্চ-বিশদ গভীরতার মানচিত্র তৈরি করা।
ম্যাট এবং প্যারালাক্সের কাজে ফিল্ম এবং ভিএফএক্স টিমকে সাহায্য করা যেখানে প্রান্তের নির্ভুলতা গুরুত্বপূর্ণ।
একটি গবেষণা বেসলাইন হিসাবে পরিবেশন করা যা দেখায় যে কীভাবে ঘন ভবিষ্যদ্বাণীমূলক কাজগুলির জন্য জেনারেটিভ পূর্বের মানিয়ে নেওয়া যায়।
ঝুঁকি এবং প্রহরী
প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।
বাস্তবায়ন রোডম্যাপ
নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Marigold Diffusion Depth Estimation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
মনোকুলার গভীরতা অনুমান
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
মেরিগোল্ড ডিফিউশন গভীরতা অনুমান কি?
ম্যারিগোল্ড অত্যন্ত বিস্তারিত গভীরতার মানচিত্রগুলির পূর্বাভাস দেওয়ার জন্য একটি পূর্বপ্রশিক্ষিত চিত্র-প্রজন্মের বিচ্ছুরণ মডেল (স্থিতিশীল বিচ্ছুরণ) পুনর্নির্মাণ করে। এটি দেখায় যে আপনি আশ্চর্যজনকভাবে সামান্য প্রশিক্ষণ ডেটা সহ একটি জেনারেটরের সমৃদ্ধ ভিজ্যুয়াল জ্ঞানকে একটি সুনির্দিষ্ট উপলব্ধি সরঞ্জামে পরিণত করতে পারেন।
ম্যারিগোল্ড কোন পূর্বপ্রশিক্ষিত মডেলের উপর তৈরি করে?
গভীরতার মানচিত্র তৈরি করতে ম্যারিগোল্ড স্থির ডিফিউশন সুপ্ত বিচ্ছুরণ মডেলকে সূক্ষ্ম সুর করে।
গাঁদা কিভাবে গভীরতা অনুমান টাস্ক ফ্রেম করে?
এটি গভীরতাকে ইনপুট চিত্রের উপর 'উত্পন্ন' শর্তযুক্ত কিছু হিসাবে বিবেচনা করে, ডিফিউশন মেশিনারি পুনরায় ব্যবহার করে।
ম্যারিগোল্ডের প্রশিক্ষণের তথ্য সম্পর্কে আশ্চর্যজনক কী ছিল?
হাইপারসিম এবং ভার্চুয়াল KITTI-এর মতো সিন্থেটিক ডেটাতে ম্যারিগোল্ডকে সূক্ষ্ম সুর করা হয়েছে কিন্তু বাস্তব ফটোতে জিরো-শটকে সাধারণীকরণ করা হয়েছে।
কেন মেরিগোল্ড সাধারণত ফিড-ফরোয়ার্ড গভীরতার মডেলের চেয়ে ধীর হয়?
ডিফিউশন মডেলগুলি একাধিক ধাপের উপর বর্জন করে, একটি একক ফরোয়ার্ড পাসের চেয়ে অনুমানকে ধীর করে তোলে।
ম্যারিগোল্ড তার প্রসারণ প্রক্রিয়াটি কোন স্থানে করে?
ইমেজ এবং গভীরতা উভয়ই VAE লুকানো জায়গায় এনকোড করা হয়েছে যেখানে U-Net অস্বীকার করে।