ต่อไปคำแนะนำต่อไป
การแฮชเชิงรับรู้สำหรับรูปภาพที่คล้ายกันมาก
วิชวลเอไอ
คู่มือ AI แบบเห็นภาพ
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
การสูญเสียแบบดั้งเดิม เช่น L2 (ค่าคลาดเคลื่อนกำลังสองเฉลี่ย) จะเปรียบเทียบภาพแบบพิกเซลต่อพิกเซล ดังนั้นการเปลี่ยนแปลงหนึ่งพิกเซลหรือพื้นผิวที่แตกต่างกันเล็กน้อยจึงดูเหมือนเป็นข้อผิดพลาดครั้งใหญ่ แม้ว่ามนุษย์แทบจะไม่สังเกตเห็นก็ตาม การสูญเสียการรับรู้จะเรียกใช้ทั้งสองอิมเมจผ่านเครือข่ายที่ได้รับการฝึกล่วงหน้า (มักจะเป็น VGG) และเปรียบเทียบการเปิดใช้งานจากเลเยอร์ระดับกลาง เนื่องจากคุณสมบัติเหล่านั้นเข้ารหัสขอบ พื้นผิว และส่วนของวัตถุมากกว่าค่าพิกเซลที่แน่นอน การสูญเสียจึงสอดคล้องกับวิจารณญาณของมนุษย์ได้ดีขึ้น ช่วยให้ได้ผลลัพธ์ที่คมชัดและตรงตามความหมาย LPIPS (Learned Perceptual Image Patchคล้ายคลึงกัน) นำเสนอโดย Zhang และคณะ ในปี 2018 ได้กำหนดสิ่งนี้อย่างเป็นทางการ โดยแยกคุณลักษณะเชิงลึก ทำให้เป็นมาตรฐาน และใช้ตุ้มน้ำหนักที่เรียนรู้ซึ่งเทียบเคียงกับการตัดสินความคล้ายคลึงกันของมนุษย์นับพันครั้ง โดยสร้างคะแนนระยะทางเดียวโดยที่ต่ำกว่าหมายถึงมีความเหมือนกันมากกว่าในการรับรู้
การฝึกอบรมเครือข่ายความละเอียดสูงพิเศษ (เช่น SRGAN) เพื่อให้ภาพที่ขยายขนาดดูคมชัดและมีพื้นผิวมากกว่าที่จะเบลอ
การประเมินการบีบอัดภาพและตัวแปลงสัญญาณโดยการให้คะแนนว่าภาพที่ถอดรหัสปิดไปจากต้นฉบับอย่างไร
การถ่ายโอนรูปแบบการนำทาง โดยที่เนื้อหาจะถูกจับคู่ผ่านฟีเจอร์ VGG แบบลึก แทนที่จะเป็นพิกเซลที่ตรงทั้งหมด
การเปรียบเทียบ GAN และเครื่องสร้างภาพการแพร่กระจายโดยการรายงานระยะห่าง LPIPS ระหว่างภาพที่สร้างขึ้นและภาพจริง
ตัวชี้วัดการรับรู้กำลังเปลี่ยนจากแกนหลักของ CNN ไปสู่คุณสมบัติจากโมเดลที่ควบคุมตนเองและตัวแปลงการมองเห็น เช่น DINO และ CLIP ซึ่งจับความหมายที่สมบูรณ์ยิ่งขึ้น คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับการฝึกอบรมโมเดลการแพร่กระจายและการประเมินข้อความเป็นรูปภาพ รวมถึงคะแนนการรับรู้ที่ปรับแต่งเพื่อความสอดคล้องชั่วคราวของวิดีโอ นักวิจัยยังกำลังตรวจสอบจุดบอดของ LPIPS อีกด้วย กล่าวคือ มันสามารถถูกหลอกได้ในทางตรงข้ามและมีความสัมพันธ์กับคุณภาพที่มีความเที่ยงตรงสูงมาก กระตุ้นให้เกิดตัวชี้วัดใหม่ที่สอดคล้องกับมนุษย์ เช่น DISTS และแนวทางการรวมกลุ่ม
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.
L2 เปรียบเทียบพิกเซลโดยตรง ดังนั้นการเปลี่ยนแปลงเชิงพื้นที่เล็กน้อยหรือความแตกต่างของพื้นผิวจึงถือเป็นข้อผิดพลาดขนาดใหญ่ แม้ว่าภาพจะดูดีในสายตาบุคคลก็ตาม
LPIPS แยกการเปิดใช้งานคุณสมบัติเชิงลึกจากแกนหลักที่ตายตัว และวัดระยะห่างซึ่งสอดคล้องกับการรับรู้ของมนุษย์ได้ดีกว่าพิกเซล
เรียนรู้ตุ้มน้ำหนักเพื่อให้ตรงกับชุดข้อมูลขนาดใหญ่ (BAPPS) ของการตัดสินใจที่คล้ายคลึงกันแบบสองทางเลือกของมนุษย์
LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.
แผนผังคุณลักษณะระดับกลางของ VGG กลายเป็นมาตรฐานสำหรับการสูญเสียการรับรู้ในงานต่างๆ เช่น ความละเอียดสูงพิเศษ และการถ่ายโอนสไตล์
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การแฮชเชิงรับรู้สำหรับรูปภาพที่คล้ายกันมาก
วิชวลเอไอ