ভিজ্যুয়াল এআই গাইড
গাঁদা বিচ্ছুরণ গভীরতা অনুমান
ম্যারিগোল্ড অত্যন্ত বিস্তারিত গভীরতার মানচিত্রগুলির পূর্বাভাস দেওয়ার জন্য একটি পূর্বপ্রশিক্ষিত চিত্র-প্রজন্মের বিচ্ছুরণ মডেল (স্থিতিশীল বিচ্ছুরণ) পুনর্নির্মাণ করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটি দেখায় যে আপনি আশ্চর্যজনকভাবে সামান্য প্রশিক্ষণ ডেটা সহ একটি জেনারেটরের সমৃদ্ধ ভিজ্যুয়াল জ্ঞানকে একটি সুনির্দিষ্ট উপলব্ধি সরঞ্জামে পরিণত করতে পারেন।
গভীর ডুব
মেরিগোল্ড (ETH জুরিখ, CVPR 2024 সেরা পেপার অনারেবল মেনশন) একটি শর্তসাপেক্ষ প্রজন্মের সমস্যা হিসাবে গভীরতার অনুমানকে পুনরায় ফ্রেম করে। স্ক্র্যাচ থেকে একটি গভীরতার নেটওয়ার্ককে প্রশিক্ষণ দেওয়ার পরিবর্তে, এটি একটি ইনপুট চিত্রের উপর শর্তযুক্ত একটি গভীরতার মানচিত্র 'জেনারেট' করতে স্থিতিশীল ডিফিউশনকে সূক্ষ্ম সুর করে। অন্তর্দৃষ্টি হল যে ফটোরিয়েলিস্টিক ইমেজ সংশ্লেষিত করার জন্য প্রশিক্ষিত একটি মডেল ইতিমধ্যেই দৃশ্যের জ্যামিতি, আলো এবং কাঠামো তার সুপ্ত স্থানের গভীরে শিখেছে, যা গভীরতার জন্য উপযোগী। লক্ষণীয়ভাবে, ম্যারিগোল্ড শুধুমাত্র সিন্থেটিক ডেটাসেটগুলিতে (যেমন হাইপারসিম এবং ভার্চুয়াল কিটিটিআই) সূক্ষ্ম-টিউন করা হয়েছিল তবে বাস্তব ফটোগুলি জিরো-শট থেকে ভালভাবে সাধারণীকরণ করে। এটি ব্যতিক্রমীভাবে সূক্ষ্ম বিবরণ সহ affine-অপরিবর্তনীয় আপেক্ষিক গভীরতা তৈরি করে, যদিও পুনরাবৃত্তিমূলক ডিনোইসিং এটিকে DepthAnything-এর মত ফিড-ফরোয়ার্ড মডেলের তুলনায় ধীর করে তোলে।
বাস্তব-বিশ্ব বাস্তবায়ন
রিলাইটিং এবং 3D মকআপের জন্য স্থাপত্য এবং পণ্যের ফটোগুলি থেকে সূক্ষ্ম-দানাযুক্ত গভীরতা বের করা।
নিয়ন্ত্রণযোগ্য চিত্র এবং ভিডিও তৈরির জন্য কন্ডিশনার হিসাবে ব্যবহৃত উচ্চ-বিশদ গভীরতার মানচিত্র তৈরি করা।
ম্যাট এবং প্যারালাক্সের কাজে ফিল্ম এবং ভিএফএক্স টিমকে সাহায্য করা যেখানে প্রান্তের নির্ভুলতা গুরুত্বপূর্ণ।
একটি গবেষণা বেসলাইন হিসাবে পরিবেশন করা যা দেখায় যে কীভাবে ঘন ভবিষ্যদ্বাণীমূলক কাজগুলির জন্য জেনারেটিভ পূর্বের মানিয়ে নেওয়া যায়।
মেরিগোল্ড ডিফিউশন গভীরতা অনুমানের ভবিষ্যত
ম্যারিগোল্ড রেসিপি, ঘন ভবিষ্যদ্বাণীর জন্য সূক্ষ্ম-টিউনিং ডিফিউশন প্রিয়ার্স, গভীরতা অতিক্রম করে পৃষ্ঠের স্বাভাবিকতা, অন্তর্নিহিত চিত্রের পচন এবং উপাদান অনুমানকে সাধারণীকরণ করছে। দ্রুত পাতিত এবং সামঞ্জস্য-মডেল ভেরিয়েন্টগুলি ফিড-ফরোয়ার্ড নেটওয়ার্কগুলির সাথে গতির ব্যবধান বন্ধ করে দিচ্ছে, যা ইন্টারেক্টিভ সরঞ্জামগুলিতে ডিফিউশন-ভিত্তিক উপলব্ধি কার্যকর করে তুলেছে। একটি বৃহত্তর প্রবণতা প্রত্যাশা করুন যেখানে একটি পূর্বপ্রশিক্ষিত জেনারেটিভ ব্যাকবোন অনেক জ্যামিতি এবং উপলব্ধি কাজের সাথে খাপ খাইয়ে নেওয়া হয়, বড় টাস্ক-নির্দিষ্ট লেবেলযুক্ত ডেটাসেটের প্রয়োজনীয়তা হ্রাস করে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- গতি এবং স্কেল. ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
- পছন্দগুলি তৈরি করুন. সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
- টিম এবং ওয়ার্কফ্লো. অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।
জন্য সতর্ক
- প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
- মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
- আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।
পরবর্তী পদক্ষেপ
- নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
- প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
- কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
- মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Marigold Diffusion Depth Estimation quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
মেরিগোল্ড ডিফিউশন গভীরতা অনুমান কি?
ম্যারিগোল্ড অত্যন্ত বিস্তারিত গভীরতার মানচিত্রগুলির পূর্বাভাস দেওয়ার জন্য একটি পূর্বপ্রশিক্ষিত চিত্র-প্রজন্মের বিচ্ছুরণ মডেল (স্থিতিশীল বিচ্ছুরণ) পুনর্নির্মাণ করে। এটি দেখায় যে আপনি আশ্চর্যজনকভাবে সামান্য প্রশিক্ষণ ডেটা সহ একটি জেনারেটরের সমৃদ্ধ ভিজ্যুয়াল জ্ঞানকে একটি সুনির্দিষ্ট উপলব্ধি সরঞ্জামে পরিণত করতে পারেন।
ম্যারিগোল্ড কোন পূর্বপ্রশিক্ষিত মডেলের উপর তৈরি করে?
গভীরতার মানচিত্র তৈরি করতে ম্যারিগোল্ড স্থির ডিফিউশন সুপ্ত বিচ্ছুরণ মডেলকে সূক্ষ্ম সুর করে।
গাঁদা কিভাবে গভীরতা অনুমান টাস্ক ফ্রেম করে?
এটি গভীরতাকে ইনপুট চিত্রের উপর 'উত্পন্ন' শর্তযুক্ত কিছু হিসাবে বিবেচনা করে, ডিফিউশন মেশিনারি পুনরায় ব্যবহার করে।
ম্যারিগোল্ডের প্রশিক্ষণের তথ্য সম্পর্কে আশ্চর্যজনক কী ছিল?
হাইপারসিম এবং ভার্চুয়াল KITTI-এর মতো সিন্থেটিক ডেটাতে ম্যারিগোল্ডকে সূক্ষ্ম সুর করা হয়েছে কিন্তু বাস্তব ফটোতে জিরো-শটকে সাধারণীকরণ করা হয়েছে।
কেন মেরিগোল্ড সাধারণত ফিড-ফরোয়ার্ড গভীরতার মডেলের চেয়ে ধীর হয়?
ডিফিউশন মডেলগুলি একাধিক ধাপের উপর বর্জন করে, একটি একক ফরোয়ার্ড পাসের চেয়ে অনুমানকে ধীর করে তোলে।
ম্যারিগোল্ড তার প্রসারণ প্রক্রিয়াটি কোন স্থানে করে?
ইমেজ এবং গভীরতা উভয়ই VAE লুকানো জায়গায় এনকোড করা হয়েছে যেখানে U-Net অস্বীকার করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড