ΕπόμενοΕπόμενος οδηγός
Perceptual Hashing for Near-Duplicate Images
Οπτική τεχνητή νοημοσύνη
ΟΔΗΓΟΣ οπτικού AI
Αντιληπτική Απώλεια και LPIPS
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Βαθιά κατάδυση
Οι παραδοσιακές απώλειες όπως το L2 (μέσο τετράγωνο σφάλμα) συγκρίνουν τις εικόνες pixel-pixel, έτσι μια μετατόπιση ενός pixel ή μια ελαφρώς διαφορετική υφή μοιάζει με τεράστιο σφάλμα, παρόλο που οι άνθρωποι μετά βίας το αντιλαμβάνονται. Αντίθετα, η αντιληπτική απώλεια εκτελεί και τις δύο εικόνες μέσω ενός προεκπαιδευμένου δικτύου (συχνά VGG) και συγκρίνει τις ενεργοποιήσεις από ενδιάμεσα επίπεδα. Επειδή αυτά τα χαρακτηριστικά κωδικοποιούν άκρες, υφές και μέρη αντικειμένων αντί για ακριβείς τιμές pixel, η απώλεια ευθυγραμμίζεται καλύτερα με την ανθρώπινη κρίση, ενθαρρύνοντας ευκρινείς, σημασιολογικά πιστές εξόδους. LPIPS (Learned Perceptual Image Patch Similarity), που εισήχθη από τους Zhang et al. το 2018, το επισημοποιεί αυτό: εξάγει βαθιά χαρακτηριστικά, τα κανονικοποιεί και εφαρμόζει μαθησιακά βάρη βαθμονομημένα έναντι χιλιάδων κρίσεων ανθρώπινης ομοιότητας, παράγοντας μια ενιαία βαθμολογία απόστασης όπου το χαμηλότερο σημαίνει πιο όμοιο αντιληπτικά.
Υλοποίηση σε πραγματικό κόσμο
Εκπαίδευση δικτύων υπερ-ανάλυσης (π.χ. SRGAN), ώστε οι αναβαθμισμένες φωτογραφίες να φαίνονται ευκρινείς και με υφή αντί να είναι θολές.
Αξιολόγηση της συμπίεσης εικόνας και των κωδικοποιητών βαθμολογώντας πόσο αντιληπτικά είναι η αποκωδικοποιημένη εικόνα στο πρωτότυπο.
Μεταφορά στυλ καθοδήγησης, όπου το περιεχόμενο αντιστοιχίζεται μέσω βαθιών χαρακτηριστικών VGG και όχι ακριβών pixel.
Συγκριτική αξιολόγηση GAN και γεννήτριες εικόνων διάχυσης αναφέροντας την απόσταση LPIPS μεταξύ δημιουργημένων και πραγματικών εικόνων.
The Future of Perceptual Loss και LPIPS
Οι αντιληπτικές μετρήσεις μετατοπίζονται από τη ραχοκοκαλιά του CNN προς χαρακτηριστικά από μοντέλα αυτοεποπτευόμενων και μετασχηματιστών όρασης όπως το DINO και το CLIP, τα οποία καταγράφουν πλουσιότερη σημασιολογία. Αναμένετε στενότερη ενσωμάτωση με την εκπαίδευση μοντέλων διάχυσης και την αξιολόγηση κειμένου σε εικόνα, καθώς και αντιληπτικές βαθμολογίες συντονισμένες για χρονική συνέπεια βίντεο. Οι ερευνητές διερευνούν επίσης τα τυφλά σημεία του LPIPS: μπορεί να εξαπατηθεί αντίθετα και ασθενώς συσχετίζεται με την ποιότητα σε πολύ υψηλή πιστότητα, παρακινώντας νεότερες μετρήσεις ευθυγραμμισμένες με τον άνθρωπο, όπως το DISTS και τις προσεγγίσεις συνόλου.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Το Visual AI μπορεί να αυτοματοποιήσει εργασίες επιθεώρησης, ανίχνευσης και επισήμανσης σε κλίμακα.
- Δημιουργήστε επιλογές. Οι δημιουργικές ομάδες μπορούν να δημιουργήσουν πρωτότυπες ιδέες γρηγορότερα με λιγότερες μη αυτόματες αναθεωρήσεις.
- Ομάδα και ροή εργασίας. Οι λειτουργίες μπορούν να χρησιμοποιούν σήματα εικόνας και βίντεο που προηγουμένως ήταν δύσκολο να επεξεργαστούν.
Προσέξτε
- Τα δικαιώματα εικόνας και η συναίνεση μπορεί να αποτελέσουν νομικούς κινδύνους εάν η προέλευση είναι ασαφής.
- Η απόδοση του μοντέλου μπορεί να διαφέρει ανάλογα με το φωτισμό, τα δημογραφικά στοιχεία και τα περιβάλλοντα.
- Τα ψευδώς θετικά μπορεί να περάσουν απαρατήρητα εκτός εάν παρακολουθούνται τα όρια εμπιστοσύνης.
Επόμενα βήματα
- Καθορίστε κριτήρια αποδοχής για το κόστος ακρίβειας, ανάκλησης και σφάλματος.
- Δοκιμή με δεδομένα που ταιριάζουν με πραγματικές συνθήκες παραγωγής.
- Προσθέστε ανθρώπινη κριτική για προβλέψεις χαμηλής εμπιστοσύνης ή υψηλού αντίκτυπου.
- Παρακολουθήστε τη μετατόπιση του μοντέλου και επικυρώστε εκ νέου μετά από αλλαγές κάμερας ή δεδομένων.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the Perceptual Loss and LPIPS quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι η Αντιληπτική Απώλεια και το LPIPS;
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
Γιατί η απώλεια L2 που βασίζεται σε εικονοστοιχεία συχνά εκτιμά εσφαλμένα την ομοιότητα της εικόνας σε σύγκριση με την αντιληπτική απώλεια;
Το L2 συγκρίνει τα εικονοστοιχεία απευθείας, επομένως μικρές χωρικές μετατοπίσεις ή διαφορές υφής καταγράφονται ως μεγάλα σφάλματα ακόμα και όταν μια εικόνα φαίνεται ωραία σε ένα άτομο.
Τι συγκρίνει κυρίως το LPIPS μεταξύ δύο εικόνων;
Το LPIPS εξάγει βαθιές ενεργοποιήσεις χαρακτηριστικών από μια σταθερή ραχοκοκαλιά και μετρά την απόστασή τους, η οποία ευθυγραμμίζεται καλύτερα με την ανθρώπινη αντίληψη από τα pixel.
Πώς καθορίστηκαν τα βάρη ανά κανάλι σε LPIPS;
Τα βάρη έμαθαν να ταιριάζουν με ένα μεγάλο σύνολο δεδομένων (BAPPS) ανθρώπινων αποφάσεων ομοιότητας δύο εναλλακτικών-αναγκαστικής επιλογής.
What does a lower LPIPS value indicate for a tested image pair?
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
Ποιο δίκτυο κορμού συνδέεται συχνότερα με την κλασική απώλεια αντιληπτικών (χαρακτηριστικών);
Οι ενδιάμεσοι χάρτες χαρακτηριστικών του VGG έγιναν το πρότυπο για την απώλεια αντίληψης σε εργασίες όπως η υπερ-ανάλυση και η μεταφορά στυλ.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα