ড্রিমফিউশন এবং স্কোর ডিস্টিলেশন স্যাম্পলিং
DreamFusion একজন সমালোচক হিসেবে 2D ইমেজ ডিফিউশন মডেল ব্যবহার করে টেক্সট থেকে 3D অবজেক্ট তৈরি করে, কখনোই কোনো 3D ডেটার প্রশিক্ষণ দেয় না।
ওভারভিউ
Its core invention, Score Distillation Sampling, became the foundational recipe for the entire text-to-3D field.
গভীর ডুব
DreamFusion, Google থেকে 2022 সালে, জিজ্ঞাসা করা হয়েছিল: একটি 2D পাঠ্য থেকে চিত্র মডেল কি একটি 3D দৃশ্যকে প্রতিটি কোণ থেকে সঠিকভাবে দেখতে শেখাতে পারে? এটি একটি NeRF (নিউরাল রেডিয়েন্স ফিল্ড) অপ্টিমাইজ করে যাতে র্যান্ডম ক্যামেরা ভিউপয়েন্ট থেকে রেন্ডারিং, যখন শোরগোল করা হয় এবং হিমায়িত ডিফিউশন মডেল (ইমেজেন) দেখানো হয়, তখন টেক্সট প্রম্পটের জন্য বিশ্বাসযোগ্য চিত্র হিসাবে স্কোর করে। গুরুত্বপূর্ণভাবে এটি কোনও 3D প্রশিক্ষণ ডেটা ব্যবহার করে না। অগ্রগতি হল স্কোর ডিস্টিলেশন স্যাম্পলিং (এসডিএস): ডিফিউশন মডেলের ব্যয়বহুল ইউ-নেটের মাধ্যমে ব্যাকপ্রোপ্যাগেট করার পরিবর্তে, এসডিএস মডেলের পূর্বাভাসিত শব্দকে সরাসরি রেন্ডার করা পিক্সেলে গ্রেডিয়েন্ট সিগন্যাল হিসাবে ব্যবহার করে। হাজার হাজার দৃষ্টিকোণ জুড়ে এটি পুনরাবৃত্তি করা একটি সুসংগত 3D সম্পদ তৈরি করে, একটি একক বাক্য থেকে জ্যামিতি এবং দৃশ্য-নির্ভর চেহারা সহ সম্পূর্ণ।
প্রযুক্তিগত অন্তর্দৃষ্টি
SDS ডিফিউশন মডেলটিকে হিমায়িত স্কোরিং ফাংশন হিসাবে বিবেচনা করে। এটি এনইআরএফ রেন্ডার করে, শব্দ যোগ করে, ডিফিউশন ইউ-নেটকে সেই শব্দের পূর্বাভাস দিতে বলে এবং গ্রেডিয়েন্টকে গণনা করে যেমন (পূর্বাভাসিত নয়েজ বিয়োগ যোগ করা নয়েজ) রেন্ডার করা চিত্রের দিকে ফিরে আসে এবং এইভাবে এনআরএফ ওজন হয়। ইউ-নেট জ্যাকোবিয়ান এড়িয়ে যাওয়া এটিকে সহজ করে তোলে। উচ্চ শ্রেণীবিন্যাস-মুক্ত নির্দেশিকা (প্রায় 100) তীক্ষ্ণ ফলাফলের জন্য প্রয়োজন, যা বৈশিষ্ট্যকে অতিরিক্ত-স্যাচুরেটেড, কখনও কখনও অস্পষ্ট করে তোলে 'ড্রিমফিউশন লুক।'
কৌশলগত প্রভাব
গতি এবং স্কেল
ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
পছন্দগুলি তৈরি করুন
সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
টিম এবং ওয়ার্কফ্লো
অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।
ড্রিমফিউশন এবং স্কোর ডিস্টিলেশন স্যাম্পলিং এর ভবিষ্যত
এসডিএস তার দুর্বলতাগুলি সমাধান করার জন্য কাজের একটি সমৃদ্ধ লাইন তৈরি করেছে: রেজোলিউশন এবং গতির জন্য ম্যাজিক3ডি, তীক্ষ্ণ, আরও বৈচিত্র্যময় আউটপুট এবং 'জানুস' মাল্টি-ফেস আর্টিফ্যাক্টকে আক্রমণ করার পদ্ধতিগুলির জন্য প্রলিফিক ড্রিমারের ভেরিয়েশনাল স্কোর ডিস্টিলেশন। মাল্টি-ভিউ ডিফিউশন প্রিওর এবং গাউসিয়ান স্প্ল্যাটিং-এর মতো দ্রুত 3D উপস্থাপনার সাথে ক্ষেত্রটি SDS-কে ক্রমশ যুক্ত করছে। টেক্সট-টু-3ডি দ্রুত এবং আরও জ্যামিতিকভাবে বিশ্বস্ত হওয়ার আশা করুন, হ্যান্ড-মডেল করা সম্পদগুলির সাথে ব্যবধানকে সংকুচিত করুন।
বাস্তব-বিশ্ব বাস্তবায়ন
শুধুমাত্র পাঠ্য থেকে 'একটি ছোট টুপি পরা কাঠবিড়ালির একটি DSLR ফটো'-এর একটি 3D মডেল তৈরি করা
ম্যানুয়াল 3D ভাস্কর্য ছাড়াই খসড়া গেম এবং AR সম্পদ তৈরি করা
রপ্তানিযোগ্য মেশ তৈরি করা যা শিল্পীরা স্ক্র্যাচ থেকে তৈরি করার পরিবর্তে পরিমার্জন করে
এসডিএস-এর বিরুদ্ধে নতুন টেক্সট-টু-3ডি পদ্ধতি মূল্যায়নের জন্য গবেষণা বেসলাইন
ঝুঁকি এবং প্রহরী
প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।
বাস্তবায়ন রোডম্যাপ
নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DreamFusion and Score Distillation Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
স্কোর-ভিত্তিক জেনারেটিভ মডেল
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is DreamFusion and Score Distillation Sampling?
DreamFusion একজন সমালোচক হিসেবে 2D ইমেজ ডিফিউশন মডেল ব্যবহার করে টেক্সট থেকে 3D অবজেক্ট তৈরি করে, কখনোই কোনো 3D ডেটার প্রশিক্ষণ দেয় না। এর মূল উদ্ভাবন, স্কোর ডিস্টিলেশন স্যাম্পলিং, পুরো টেক্সট-টু-3ডি ক্ষেত্রের জন্য মৌলিক রেসিপি হয়ে উঠেছে।
কি 3D উপস্থাপনা DreamFusion অপ্টিমাইজ করে?
DreamFusion একটি NeRF অপ্টিমাইজ করে তাই এর রেন্ডার করা ভিউ টেক্সট প্রম্পটের একটি 2D ডিফিউশন মডেলের রায়কে সন্তুষ্ট করে।
DreamFusion এর জন্য কত 3D প্রশিক্ষণ ডেটা প্রয়োজন?
DreamFusion একটি হিমায়িত 2D টেক্সট-টু-ইমেজ ডিফিউশন মডেলকে তার একমাত্র তত্ত্বাবধান হিসেবে ব্যবহার করে, যার কোনো 3D প্রশিক্ষণ ডেটার প্রয়োজন নেই।
স্কোর ডিস্টিলেশন স্যাম্পলিং এর মূল কম্পিউটেশনাল শর্টকাট কি?
SDS ব্যয়বহুল U-Net Jacobian এড়িয়ে, রেন্ডার করা পিক্সেলে সরাসরি গ্রেডিয়েন্ট হিসাবে ভবিষ্যদ্বাণীকৃত-মাইনাস-যুক্ত শব্দ ব্যবহার করে।
কেন DreamFusion খুব উচ্চ ক্লাসিফায়ার-মুক্ত নির্দেশিকা (~100) ব্যবহার করে?
এসডিএস গ্রেডিয়েন্ট কোলাহলপূর্ণ এবং দুর্বল, তাই খাস্তা, অন-প্রম্পট জ্যামিতির জন্য অস্বাভাবিকভাবে উচ্চ নির্দেশিকা প্রয়োজন, যদিও এটি অতিরিক্ত-স্যাচুরেশন ঘটায়।
কোন 2D মডেলটি আসল ড্রিমফিউশন এর আগে হিমায়িত হিসাবে ব্যবহার করেছিল?
ড্রিমফিউশন হিমায়িত স্কোরিং ফাংশন হিসাবে Google এর ইমেজেন টেক্সট-টু-ইমেজ ডিফিউশন মডেলের উপর নির্মিত হয়েছিল।