SeterusnyaPanduan seterusnya
Perceptual Hashing for Near-Duplicate Images
AI Visual
PANDUAN AI Visual
Kehilangan Persepsi dan LPIPS
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Menyelam dalam
Kerugian tradisional seperti L2 (min ralat kuasa dua) membandingkan imej piksel demi piksel, jadi anjakan satu piksel atau tekstur yang sedikit berbeza kelihatan seperti ralat besar walaupun manusia hampir tidak menyedarinya. Kehilangan persepsi sebaliknya menjalankan kedua-dua imej melalui rangkaian terlatih (selalunya VGG) dan membandingkan pengaktifan daripada lapisan perantaraan. Oleh kerana ciri tersebut mengekod tepi, tekstur dan bahagian objek dan bukannya nilai piksel tepat, kehilangan itu lebih sejajar dengan pertimbangan manusia, menggalakkan output yang tajam dan setia dari segi semantik. LPIPS (Learned Perceptual Image Patch Similarity), yang diperkenalkan oleh Zhang et al. pada 2018, memformalkan perkara ini: ia mengekstrak ciri yang mendalam, menormalkannya dan menggunakan pemberat yang dipelajari yang ditentukur terhadap beribu-ribu pertimbangan persamaan manusia, menghasilkan skor jarak tunggal di mana lebih rendah bermakna lebih sama dari segi persepsi.
Pelaksanaan Dunia Sebenar
Melatih rangkaian peleraian super (mis., SRGAN) supaya foto berskala tinggi kelihatan tajam dan bertekstur berbanding kabur.
Menilai pemampatan imej dan codec dengan memberi markah sejauh mana persepsi menutup imej yang dinyahkodkan kepada yang asal.
Pemindahan gaya membimbing, di mana kandungan dipadankan melalui ciri VGG dalam dan bukannya piksel tepat.
Menanda aras GAN dan penjana imej resapan dengan melaporkan jarak LPIPS antara imej yang dijana dan sebenar.
Masa Depan Kehilangan Persepsi dan LPIPS
Metrik persepsi beralih daripada tulang belakang CNN ke arah ciri daripada model penyeliaan sendiri dan pengubah penglihatan seperti DINO dan CLIP, yang menangkap semantik yang lebih kaya. Jangkakan penyepaduan yang lebih ketat dengan latihan model penyebaran dan penilaian teks ke imej, serta skor persepsi yang ditala untuk ketekalan temporal video. Penyelidik juga sedang menyiasat titik buta LPIPS: ia boleh ditipu secara berlawanan dan lemah berkorelasi dengan kualiti pada kesetiaan yang sangat tinggi, mendorong metrik sejajar manusia yang lebih baharu seperti DISTS dan pendekatan ensembel.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Take the Perceptual Loss and LPIPS quiz
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah Kehilangan Persepsi dan LPIPS?
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Mengapakah kehilangan L2 berasaskan piksel sering salah menilai persamaan imej berbanding kehilangan persepsi?
L2 membandingkan piksel secara langsung, jadi anjakan spatial yang kecil atau perbezaan tekstur didaftarkan sebagai ralat besar walaupun apabila imej kelihatan baik kepada seseorang.
Apakah LPIPS terutamanya membandingkan antara dua imej?
LPIPS mengekstrak pengaktifan ciri mendalam daripada tulang belakang tetap dan mengukur jaraknya, yang lebih sejajar dengan persepsi manusia berbanding piksel.
Bagaimanakah berat setiap saluran dalam LPIPS ditentukan?
Pemberat telah dipelajari untuk memadankan set data besar (BAPPS) bagi keputusan persamaan dua-alternatif-paksa-pilihan manusia.
What does a lower LPIPS value indicate for a tested image pair?
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
Rangkaian tulang belakang manakah yang paling kerap dikaitkan dengan kehilangan persepsi (ciri) klasik?
Peta ciri perantaraan VGG menjadi standard untuk kehilangan persepsi dalam tugas seperti resolusi super dan pemindahan gaya.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini