জিরো-1-টু-3 নভেল ভিউ ডিফিউশন
শূন্য-1-থেকে-3 কোনো বস্তুর একটি একক ফটোকে যে কোনো নতুন কোণ থেকে দেখা সেই একই বস্তুর ছবিতে পরিণত করে, আপনি যে ক্যামেরার ঘূর্ণন চান তার উপর শর্তযুক্ত একটি ডিফিউশন মডেল ব্যবহার করে।
ওভারভিউ
It matters because it lets you reconstruct 3D-consistent views without ever scanning the object from multiple sides.
গভীর ডুব
জিরো-1-টু-3 (কলাম্বিয়া, 2023 থেকে) ফাইন-টিউনস স্টেবল ডিফিউশন যাতে এটি একটি ইনপুট ইমেজ থেকে জিরো-শট নভেল ভিউ সংশ্লেষণ করতে পারে। আপনি এটিকে একটি একক ছবি এবং একটি আপেক্ষিক ক্যামেরা ট্রান্সফর্ম (একটি ঘূর্ণন এবং একটি ছোট অনুবাদ) খাওয়ান এবং মডেলটি সেই নতুন দৃষ্টিকোণ থেকে বস্তুটি দেখতে কেমন হবে তা তৈরি করে। মূল ধারণাটি হল যে বিশাল 2D ডিফিউশন মডেল, বিশাল ওয়েব ইমেজ সংগ্রহে প্রশিক্ষিত, বস্তুগুলি 3D তে কীভাবে দেখায় সে সম্পর্কে জ্যামিতিক এবং ভৌত পূর্ববর্তীগুলি স্পষ্টভাবে শোষিত হয়েছে। অনেক নিয়ন্ত্রিত ক্যামেরা অ্যাঙ্গেল (অবজাভার্স ব্যবহার করে) থেকে রেন্ডার করা বস্তুর একটি সিন্থেটিক ডেটাসেটে ফাইন-টিউনিং করে, মডেলটি সেই আগেরগুলিকে স্পষ্ট ক্যামেরা নিয়ন্ত্রণে ম্যাপ করতে শেখে। উত্পন্ন ভিউ তারপর ডাউনস্ট্রিম 3D পুনর্গঠন খাওয়াতে পারে।
প্রযুক্তিগত অন্তর্দৃষ্টি
সোর্স ইমেজের মডেল শর্ত দুটি উপায়ে: একটি CLIP এম্বেডিং ক্রস-অ্যাটেনশন বাড়ানোর জন্য আপেক্ষিক ক্যামেরা পোজ (অ্যাজিমুথ, উচ্চতা, ব্যাসার্ধ) এর সাথে সংযুক্ত করা হয়, যখন কাঁচা চিত্রটি শোরগোল প্রচ্ছন্নতার সাথে চ্যানেল-সংবদ্ধ থাকে তাই সূক্ষ্ম বিবরণ এবং পরিচয় সংরক্ষিত হয়। প্রশিক্ষণ CAD অবজেক্ট থেকে রেন্ডার করা ইমেজ-পোজ-ইমেজ ট্রিপলেট ব্যবহার করে, তাই নেটওয়ার্ক একটি ভিউপয়েন্ট পরিবর্তন এবং ফলস্বরূপ পিক্সেল পরিবর্তনের মধ্যে নিয়ন্ত্রণযোগ্য ম্যাপিং শেখে।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
পছন্দগুলি তৈরি করুন
সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
টিম এবং ওয়ার্কফ্লো
অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।
জিরো-১-টু-৩ নভেল ভিউ ডিফিউশনের ভবিষ্যত
জিরো-1-থেকে-3 ইমেজ-থেকে-3ডি পাইপলাইনগুলির একটি তরঙ্গ বীজযুক্ত। Zero123-XL, SyncDreamer, এবং One-2-3-45-এর মতো উত্তরসূরিরা মাল্টি-ভিউ সামঞ্জস্য এবং দ্রুততর, আরও নির্ভরযোগ্য 3D মেশ আউটপুটের দিকে ঠেলে দেয়, যখন Gaussian Splatting এবং বৃহৎ পুনর্গঠন মডেলগুলির সাথে একীভূতকরণ প্রজন্মের সময়কে মিনিট থেকে সেকেন্ডে সঙ্কুচিত করছে। এই ভিউপয়েন্ট-নিয়ন্ত্রণযোগ্য ডিফিউশন মডেলগুলি বিষয়বস্তু তৈরির জন্য স্ট্যান্ডার্ড টুলে পরিণত হওয়ার কারণে আরও কঠোর দৃশ্যের ধারাবাহিকতা, উচ্চতর রেজোলিউশন এবং বাস্তব-জগত (শুধু সিন্থেটিক-বস্তু নয়) সাধারণীকরণের প্রত্যাশা করুন।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি একক পণ্যের ছবির টার্নটেবল ভিউ তৈরি করা যাতে একটি ই-কমার্স তালিকা সব দিক থেকে আইটেমটি দেখাতে পারে
AR পূর্বরূপের জন্য একটি নৈমিত্তিক ফোন স্ন্যাপশট থেকে একটি বস্তুর একটি টেক্সচারযুক্ত 3D জাল বুটস্ট্র্যাপিং
গেম এবং ফিল্ম ধারণা শিল্পীদের জন্য একটি চরিত্রের ধারাবাহিক বহু-কোণ রেফারেন্স আর্ট তৈরি করা
অদেখা জ্যামিতি পূরণ করতে একটি NeRF বা গাউসিয়ান স্প্ল্যাটিং পুনর্গঠনে সংশ্লেষিত উপন্যাসের দৃশ্যগুলিকে খাওয়ানো
ঝুঁকি এবং প্রহরী
প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।
বাস্তবায়ন রোডম্যাপ
নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Zero-1-to-3 Novel View Diffusion quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
নভেল ভিউ সংশ্লেষণ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Zero-1-to-3 Novel View Diffusion?
শূন্য-1-থেকে-3 কোনো বস্তুর একটি একক ফটোকে যে কোনো নতুন কোণ থেকে দেখা সেই একই বস্তুর ছবিতে পরিণত করে, আপনি যে ক্যামেরার ঘূর্ণন চান তার উপর শর্তযুক্ত একটি ডিফিউশন মডেল ব্যবহার করে। এটি গুরুত্বপূর্ণ কারণ এটি আপনাকে একাধিক দিক থেকে অবজেক্ট স্ক্যান না করেই 3D-সামঞ্জস্যপূর্ণ দৃশ্য পুনর্গঠন করতে দেয়।
একটি নতুন ভিউ তৈরি করতে একটি একক চিত্র ছাড়াও মূল ইনপুট জিরো-1-টু-3-এর কী প্রয়োজন?
শূন্য-1-থেকে-3 একটি একক চিত্র এবং একটি আপেক্ষিক ক্যামেরা পোজের উপর শর্তযুক্ত, তাই আপনি পছন্দসই দৃষ্টিভঙ্গিতে ঘূর্ণন এবং অনুবাদ নির্দিষ্ট করুন।
জিরো-1-টু-3 ফাইন-টিউনিং দ্বারা নির্মিত হয় কোন ধরনের মডেল?
এটি একটি বৃহৎ পূর্বপ্রশিক্ষিত 2D ডিফিউশন মডেলকে সূক্ষ্ম-টিউন করে যাতে এটি জ্যামিতিক পূর্বের সেই মডেলগুলিকে ওয়েব ইমেজ থেকে স্পষ্টভাবে শেখা কাজে লাগাতে পারে।
কেন একটি 2D ডিফিউশন মডেল শূন্য-শট উপন্যাস ভিউ সংশ্লেষণ করতে পারে?
বৃহৎ-স্কেল 2D প্রশিক্ষণ 3D-তে বস্তুগুলি কীভাবে উপস্থিত হয় সে সম্পর্কে অন্তর্নিহিত জ্ঞান প্রদান করে, যা সূক্ষ্ম-টিউনিং ক্যামেরা পোজের মাধ্যমে নিয়ন্ত্রণযোগ্য করে তোলে।
জিরো-1-থেকে-3 প্রশিক্ষণের জন্য 3D বস্তুর কোন ডেটাসেট কেন্দ্রীভূত ছিল?
এটি বড় সিন্থেটিক 3D অবজেক্ট সংগ্রহ যেমন Objaverse থেকে রেন্ডার করা ইমেজ-পোজ-ইমেজ ট্রিপলেটের উপর প্রশিক্ষিত ছিল।
কিভাবে উৎস ইমেজ এর সূক্ষ্ম বিবরণ প্রজন্মের মধ্যে সংরক্ষিত হয়?
কাঁচা চিত্রটি শোরগোল প্রচ্ছন্ন (অর্থতত্ত্বের জন্য একটি CLIP এম্বেডিংয়ের পাশাপাশি) চ্যানেল-সংশ্লিষ্ট তাই পরিচয় এবং বিশদটি বহন করে।