InstructPix2Pix নির্দেশনা সম্পাদনা
InstructPix2Pix আপনাকে একটি সাধারণ কমান্ড টাইপ করে একটি ফটো সম্পাদনা করতে দেয় যেমন 'শীতকালে তৈরি করুন' বা 'বিড়ালটিকে কুকুরে পরিণত করুন', কোনো মুখোশ বা নির্বাচন সরঞ্জামের প্রয়োজন নেই।
ওভারভিউ
It taught a diffusion model to follow editing instructions directly.
গভীর ডুব
InstructPix2Pix (Brooks et al., 2023) হল একটি ডিফিউশন মডেল যা একটি ইনপুট ইমেজ এবং একটি টেক্সট নির্দেশনা নিতে এবং সম্পাদিত ইমেজটিকে একটি সিঙ্গেল ফরোয়ার্ড পাসে আউটপুট করার জন্য সূক্ষ্মভাবে তৈরি করা হয়। এর চতুর কৌশল হল প্রশিক্ষণের ডেটা: লেখকরা আগে এবং পরে ক্যাপশন জোড়া তৈরি করতে GPT-3 ব্যবহার করেছেন, তারপর চিত্র জোড়ার আগে/পরে ম্যাচিং সংশ্লেষ করতে স্থিতিশীল ডিফিউশন সহ প্রম্পট-টু-প্রম্পট ব্যবহার করেছেন। এটি তাদের একটি বড় ডেটাসেট দিয়েছে (মূল চিত্র, নির্দেশ, সম্পাদিত চিত্র) ট্রিপল প্রশিক্ষণের জন্য, সবই ম্যানুয়াল লেবেল ছাড়াই। কারণ নির্দেশাবলী একটি সম্পূর্ণ দৃশ্যের পরিবর্তে একটি পরিবর্তনকে বর্ণনা করে, মডেলটি চিত্রের উল্লেখ না করা অংশগুলিকে সংরক্ষণ করে৷ এটি দুটি নির্দেশিকা স্কেল ব্যবহার করে, একটি নির্দেশাবলী কতটা ঘনিষ্ঠভাবে অনুসরণ করে এবং একটি আসল চিত্রের সাথে কতটা বিশ্বস্ততার সাথে লেগে থাকে তার জন্য, ব্যবহারকারীদের বিশ্বস্ততার বিরুদ্ধে সম্পাদনা শক্তি বন্ধ করতে দেয়৷
প্রযুক্তিগত অন্তর্দৃষ্টি
দুটি অক্ষ বরাবর ক্লাসিফায়ার-মুক্ত নির্দেশিকা প্রয়োগ করে উৎস চিত্র এবং নির্দেশনা উভয়ের মডেল শর্ত। একটি স্কেল পাঠ্য নির্দেশের ওজন করে, অন্যটি ইনপুট চিত্রকে ওজন করে। ইমেজ স্কেল বাড়ালে মূলটি আরও বেশি অক্ষত থাকে, যখন টেক্সট স্কেল বাড়ানো হয় সম্পাদনাকে আরও আক্রমণাত্মক করে তোলে। এই দ্বৈত নির্দেশিকাটি হল যা একটি একক জেনেরিক নির্দেশনাকে নির্ভরযোগ্যভাবে একটি দিক পরিবর্তন করতে দেয় যখন বাকি ফটোগুলিকে শনাক্ত করা যায়।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
পছন্দগুলি তৈরি করুন
সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
টিম এবং ওয়ার্কফ্লো
অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।
InstructPix2Pix নির্দেশনা সম্পাদনার ভবিষ্যত
নির্দেশ-ভিত্তিক সম্পাদনা চিত্র সরঞ্জামগুলির জন্য ডিফল্ট ইন্টারফেস হয়ে উঠছে, যা এখন মূলধারার অ্যাপ এবং ম্যাজিকব্রাশের মতো উত্তরসূরি এবং উদীয়মান মাল্টি-টার্ন এডিটরগুলিতে বেক করা হয়েছে। সূক্ষ্ম বিবরণের আরও ভাল সংরক্ষণ, 'বাতি বামে সরান' এর মতো স্থানিক নির্দেশাবলীর নির্ভরযোগ্য পরিচালনা এবং ভিডিওতে বিরামবিহীন এক্সটেনশন আশা করুন, যেখানে একটি কমান্ড একটি সম্পূর্ণ ক্লিপ সম্পাদনা করে। ভাষা এজেন্টদের সাথে এই মডেলগুলিকে সংযুক্ত করার ফলে আপনি কথোপকথনে একটি সম্পূর্ণ সম্পাদনা সেশন বর্ণনা করতে পারেন।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি ব্লগার একটি মৌসুমী পোস্টের জন্য একটি গ্রীষ্মকালীন ল্যান্ডস্কেপ ফটো পুনরায় স্কিন করতে 'পতনের পাতা যুক্ত করুন' টাইপ করে৷
একজন ই-কমার্স বিক্রেতা এক শট থেকে পণ্যের রঙের বৈচিত্র তৈরি করতে 'শার্টের রঙ নেভিতে পরিবর্তন করুন' নির্দেশ দেন।
একজন শিক্ষক একটি পাঠের জন্য একটি কালো-সাদা সংরক্ষণাগার চিত্রকে প্রাণবন্ত করতে 'এটিকে রঙিন করুন' সহ একটি ঐতিহাসিক ফটো সম্পাদনা করেন৷
একজন মেম স্রষ্টা কুকুরের মুখ ম্যানুয়ালি মাস্ক না করে 'কুকুরের গায়ে সানগ্লাস লাগান' নির্দেশ দিয়েছেন।
ঝুঁকি এবং প্রহরী
প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।
বাস্তবায়ন রোডম্যাপ
নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InstructPix2Pix Instruction Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
DragGAN ইন্টারেক্টিভ এডিটিং
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is InstructPix2Pix Instruction Editing?
InstructPix2Pix আপনাকে একটি সাধারণ কমান্ড টাইপ করে একটি ফটো সম্পাদনা করতে দেয় যেমন 'শীতকালে তৈরি করুন' বা 'বিড়ালটিকে কুকুরে পরিণত করুন', কোনো মুখোশ বা নির্বাচন সরঞ্জামের প্রয়োজন নেই। এটি একটি প্রসারিত মডেলকে সরাসরি সম্পাদনার নির্দেশাবলী অনুসরণ করতে শিখিয়েছে।
আপনি কিভাবে InstructPix2Pix বলবেন কি পরিবর্তন করতে হবে?
আপনি কেবল একটি নির্দেশ টাইপ করুন যেমন 'শীতকালে তৈরি করুন'; কোনো মুখোশ বা অঞ্চল নির্বাচনের প্রয়োজন নেই।
কিভাবে InstructPix2Pix এর প্রশিক্ষণ ডেটা তৈরি করা হয়েছিল?
লেখকরা স্বয়ংক্রিয়ভাবে ট্রিপল তৈরি করতে প্রম্পট-টু-প্রম্পট ইমেজ সংশ্লেষণের সাথে GPT-3-জেনারেট করা ক্যাপশন জোড়া একত্রিত করেছেন।
InstructPix2Pix এর দুটি নির্দেশিকা স্কেল কি নিয়ন্ত্রণ করে?
একটি স্কেল নিয়ন্ত্রণ করে যে সম্পাদনা কতটা দৃঢ়ভাবে নির্দেশ অনুসরণ করে; অন্যান্য উৎসের ছবি কতটা সংরক্ষিত তা নিয়ন্ত্রণ করে।
কেন মডেলটি কেবল চিত্রের উল্লেখ না করা অংশগুলিকে ছেড়ে যাওয়ার প্রবণতা রাখে?
একটি নির্দেশ একটি নির্দিষ্ট পরিবর্তনকে লক্ষ্য করে, তাই মডেলটি সেই অঞ্চলগুলিকে সংরক্ষণ করে যা নির্দেশ উল্লেখ করে না।
একটি সম্পাদনা করতে InstructPix2Pix-এর কতগুলি ফরওয়ার্ড পাস প্রয়োজন?
এটি একটি একক শর্তসাপেক্ষ বিচ্ছুরণ মডেল যা চিত্র এবং নির্দেশনাকে একসাথে নেয় এবং সম্পাদনা আউটপুট করে।