পরবর্তী আপপরবর্তী গাইড
Perceptual Hashing for Near-Duplicate Images
ভিজ্যুয়াল এআই
ভিজ্যুয়াল এআই গাইড
উপলব্ধিগত ক্ষতি এবং LPIPS
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
গভীর ডুব
L2 (মানে বর্গাকার ত্রুটি) এর মতো ঐতিহ্যগত ক্ষতিগুলি পিক্সেল-বাই-পিক্সেল চিত্রগুলির তুলনা করে, তাই একটি এক-পিক্সেল স্থানান্তর বা সামান্য ভিন্ন টেক্সচার একটি বিশাল ত্রুটির মতো দেখায় যদিও মানুষ খুব কমই লক্ষ্য করে। অনুধাবনমূলক ক্ষতি পরিবর্তে একটি পূর্বপ্রশিক্ষিত নেটওয়ার্ক (প্রায়শই VGG) এর মাধ্যমে উভয় চিত্রই চালায় এবং মধ্যবর্তী স্তরগুলি থেকে সক্রিয়করণের তুলনা করে। যেহেতু এই বৈশিষ্ট্যগুলি সঠিক পিক্সেল মানের পরিবর্তে প্রান্ত, টেক্সচার এবং বস্তুর অংশগুলিকে এনকোড করে, তাই ক্ষতি মানুষের বিচারের সাথে আরও ভালভাবে সারিবদ্ধ হয়, তীক্ষ্ণ, শব্দার্থগতভাবে বিশ্বস্ত আউটপুটগুলিকে উত্সাহিত করে। LPIPS (Learned Perceptual Image Patch Similarity), Zhang et al দ্বারা প্রবর্তিত। 2018 সালে, এটিকে আনুষ্ঠানিক করে: এটি গভীর বৈশিষ্ট্যগুলি বের করে, সেগুলিকে স্বাভাবিক করে তোলে এবং হাজার হাজার মানুষের সাদৃশ্য বিচারের বিপরীতে ক্যালিব্রেট করা শেখা ওজন প্রয়োগ করে, একটি একক দূরত্ব স্কোর তৈরি করে যেখানে কম মানে আরও অনুধাবনযোগ্যভাবে সমান।
বাস্তব-বিশ্ব বাস্তবায়ন
প্রশিক্ষণ সুপার-রেজোলিউশন নেটওয়ার্কগুলি (যেমন, SRGAN) যাতে আপস্কেল করা ফটোগুলি ঝাপসা না হয়ে তীক্ষ্ণ এবং টেক্সচারযুক্ত দেখায়৷
ডিকোড করা চিত্রটি আসলটির সাথে কতটা উপলব্ধিগতভাবে বন্ধ হয়েছে তা স্কোর করে ইমেজ কম্প্রেশন এবং কোডেক মূল্যায়ন করা।
গাইডিং স্টাইল স্থানান্তর, যেখানে বিষয়বস্তু সঠিক পিক্সেলের পরিবর্তে গভীর VGG বৈশিষ্ট্যগুলির মাধ্যমে মেলে।
জেনারেটেড এবং রিয়েল ইমেজের মধ্যে LPIPS দূরত্ব রিপোর্ট করে GAN এবং ডিফিউশন ইমেজ জেনারেটর বেঞ্চমার্কিং।
উপলব্ধিগত ক্ষতি এবং LPIPS এর ভবিষ্যত
ইন্দ্রিয়গ্রাহ্য মেট্রিকগুলি CNN ব্যাকবোন থেকে স্ব-তত্ত্বাবধানে থাকা এবং DINO এবং CLIP-এর মতো দৃষ্টি-ট্রান্সফরমার মডেলগুলির বৈশিষ্ট্যগুলির দিকে স্থানান্তরিত হচ্ছে, যা আরও সমৃদ্ধ শব্দার্থকে ক্যাপচার করে৷ ডিফিউশন-মডেল প্রশিক্ষণ এবং টেক্সট-টু-ইমেজ মূল্যায়ন, এবং ভিডিও সাময়িক সামঞ্জস্যের জন্য অনুধাবনযোগ্য স্কোরগুলির সাথে আরও কঠোর ইন্টিগ্রেশন আশা করুন। গবেষকরা এলপিআইপিএস-এর অন্ধ দাগগুলিও পরীক্ষা করছেন: এটিকে বিপক্ষভাবে বোকা বানানো যায় এবং খুব উচ্চ বিশ্বস্ততায় মানের সাথে দুর্বলভাবে সম্পর্কযুক্ত হতে পারে, ডিআইএসটিএস এবং এনসেম্বল পদ্ধতির মতো নতুন মানব-সংযুক্ত মেট্রিক্সকে অনুপ্রাণিত করে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- গতি এবং স্কেল. ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
- পছন্দগুলি তৈরি করুন. সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
- টিম এবং ওয়ার্কফ্লো. অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।
জন্য সতর্ক
- প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
- মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
- আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।
পরবর্তী পদক্ষেপ
- নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
- প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
- কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
- মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Perceptual Loss and LPIPS quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
উপলব্ধিগত ক্ষতি এবং LPIPS কি?
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
কেন পিক্সেল-ভিত্তিক L2 ক্ষতি প্রায়ই ধারণাগত ক্ষতির তুলনায় চিত্রের সাদৃশ্যকে ভুল করে?
L2 পিক্সেলগুলিকে সরাসরি তুলনা করে, তাই ছোট স্থানিক পরিবর্তন বা টেক্সচারের পার্থক্যগুলি বড় ত্রুটি হিসাবে নিবন্ধিত হয় এমনকি যখন একটি চিত্র একজন ব্যক্তির কাছে সূক্ষ্ম দেখায়।
LPIPS প্রাথমিকভাবে দুটি ছবির মধ্যে কী তুলনা করে?
LPIPS একটি স্থির মেরুদণ্ড থেকে গভীর বৈশিষ্ট্য সক্রিয়করণ নিষ্কাশন করে এবং তাদের দূরত্ব পরিমাপ করে, যা পিক্সেলের তুলনায় মানুষের উপলব্ধির সাথে আরও ভালভাবে সারিবদ্ধ করে।
এলপিআইপিএস-এ প্রতি-চ্যানেল ওজন কীভাবে নির্ধারণ করা হয়েছিল?
ওজনগুলি মানুষের দ্বি-বিকল্প-বলপূর্বক-পছন্দের মিলের সিদ্ধান্তগুলির একটি বৃহৎ ডেটাসেট (BAPPS) মেলে শিখেছে।
What does a lower LPIPS value indicate for a tested image pair?
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
কোন ব্যাকবোন নেটওয়ার্ক ক্লাসিক অনুধাবন (বৈশিষ্ট্য) ক্ষতির সাথে সবচেয়ে বেশি যুক্ত?
VGG-এর মধ্যবর্তী বৈশিষ্ট্য মানচিত্রগুলি সুপার-রেজোলিউশন এবং শৈলী স্থানান্তরের মতো কাজগুলিতে উপলব্ধিগত ক্ষতির জন্য আদর্শ হয়ে উঠেছে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড