คู่มือ AI แบบเห็นภาพ

การสูญเสียการรับรู้และ LPIPS

Perceptual losses compare image representations from a neural network instead of relying only on pixel differences.

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการสูญเสียการรับรู้และ LPIPS
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.

เจาะลึก

การสูญเสียแบบดั้งเดิม เช่น L2 (ค่าคลาดเคลื่อนกำลังสองเฉลี่ย) จะเปรียบเทียบภาพแบบพิกเซลต่อพิกเซล ดังนั้นการเปลี่ยนแปลงหนึ่งพิกเซลหรือพื้นผิวที่แตกต่างกันเล็กน้อยจึงดูเหมือนเป็นข้อผิดพลาดครั้งใหญ่ แม้ว่ามนุษย์แทบจะไม่สังเกตเห็นก็ตาม การสูญเสียการรับรู้จะเรียกใช้ทั้งสองอิมเมจผ่านเครือข่ายที่ได้รับการฝึกล่วงหน้า (มักจะเป็น VGG) และเปรียบเทียบการเปิดใช้งานจากเลเยอร์ระดับกลาง เนื่องจากคุณสมบัติเหล่านั้นเข้ารหัสขอบ พื้นผิว และส่วนของวัตถุมากกว่าค่าพิกเซลที่แน่นอน การสูญเสียจึงสอดคล้องกับวิจารณญาณของมนุษย์ได้ดีขึ้น ช่วยให้ได้ผลลัพธ์ที่คมชัดและตรงตามความหมาย LPIPS (Learned Perceptual Image Patchคล้ายคลึงกัน) นำเสนอโดย Zhang และคณะ ในปี 2018 ได้กำหนดสิ่งนี้อย่างเป็นทางการ โดยแยกคุณลักษณะเชิงลึก ทำให้เป็นมาตรฐาน และใช้ตุ้มน้ำหนักที่เรียนรู้ซึ่งเทียบเคียงกับการตัดสินความคล้ายคลึงกันของมนุษย์นับพันครั้ง โดยสร้างคะแนนระยะทางเดียวโดยที่ต่ำกว่าหมายถึงมีความเหมือนกันมากกว่าในการรับรู้

การใช้งานจริงในโลกแห่งความเป็นจริง

การฝึกอบรมเครือข่ายความละเอียดสูงพิเศษ (เช่น SRGAN) เพื่อให้ภาพที่ขยายขนาดดูคมชัดและมีพื้นผิวมากกว่าที่จะเบลอ

การประเมินการบีบอัดภาพและตัวแปลงสัญญาณโดยการให้คะแนนว่าภาพที่ถอดรหัสปิดไปจากต้นฉบับอย่างไร

การถ่ายโอนรูปแบบการนำทาง โดยที่เนื้อหาจะถูกจับคู่ผ่านฟีเจอร์ VGG แบบลึก แทนที่จะเป็นพิกเซลที่ตรงทั้งหมด

การเปรียบเทียบ GAN และเครื่องสร้างภาพการแพร่กระจายโดยการรายงานระยะห่าง LPIPS ระหว่างภาพที่สร้างขึ้นและภาพจริง

อนาคตของการสูญเสียการรับรู้และ LPIPS

ตัวชี้วัดการรับรู้กำลังเปลี่ยนจากแกนหลักของ CNN ไปสู่คุณสมบัติจากโมเดลที่ควบคุมตนเองและตัวแปลงการมองเห็น เช่น DINO และ CLIP ซึ่งจับความหมายที่สมบูรณ์ยิ่งขึ้น คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับการฝึกอบรมโมเดลการแพร่กระจายและการประเมินข้อความเป็นรูปภาพ รวมถึงคะแนนการรับรู้ที่ปรับแต่งเพื่อความสอดคล้องชั่วคราวของวิดีโอ นักวิจัยยังกำลังตรวจสอบจุดบอดของ LPIPS อีกด้วย กล่าวคือ มันสามารถถูกหลอกได้ในทางตรงข้ามและมีความสัมพันธ์กับคุณภาพที่มีความเที่ยงตรงสูงมาก กระตุ้นให้เกิดตัวชี้วัดใหม่ที่สอดคล้องกับมนุษย์ เช่น DISTS และแนวทางการรวมกลุ่ม

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
  • สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
  • ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก

ระวัง

  • สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
  • ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
  • ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น

ขั้นตอนต่อไป

  1. กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
  2. ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
  3. เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
  4. ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Perceptual Loss and LPIPS quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Perceptual Loss and LPIPS?

Perceptual losses compare image representations from a neural network instead of relying only on pixel differences. LPIPS calibrates such feature distances against human similarity judgments, but no score guarantees that every image pair will be judged alike by every viewer.

เหตุใดการสูญเสีย L2 แบบพิกเซลจึงมักตัดสินความคล้ายคลึงของภาพผิดเมื่อเปรียบเทียบกับการสูญเสียการรับรู้

L2 เปรียบเทียบพิกเซลโดยตรง ดังนั้นการเปลี่ยนแปลงเชิงพื้นที่เล็กน้อยหรือความแตกต่างของพื้นผิวจึงถือเป็นข้อผิดพลาดขนาดใหญ่ แม้ว่าภาพจะดูดีในสายตาบุคคลก็ตาม

LPIPS เปรียบเทียบอะไรระหว่างสองภาพเป็นหลัก

LPIPS แยกการเปิดใช้งานคุณสมบัติเชิงลึกจากแกนหลักที่ตายตัว และวัดระยะห่างซึ่งสอดคล้องกับการรับรู้ของมนุษย์ได้ดีกว่าพิกเซล

น้ำหนักต่อช่องใน LPIPS ถูกกำหนดอย่างไร

เรียนรู้ตุ้มน้ำหนักเพื่อให้ตรงกับชุดข้อมูลขนาดใหญ่ (BAPPS) ของการตัดสินใจที่คล้ายคลึงกันแบบสองทางเลือกของมนุษย์

What does a lower LPIPS value indicate for a tested image pair?

LPIPS is calibrated to human similarity judgments, but its distance remains a model-based measure with limitations.

เครือข่ายแกนหลักใดมักเกี่ยวข้องกับการสูญเสียการรับรู้ (ฟีเจอร์) แบบคลาสสิกมากที่สุด

แผนผังคุณลักษณะระดับกลางของ VGG กลายเป็นมาตรฐานสำหรับการสูญเสียการรับรู้ในงานต่างๆ เช่น ความละเอียดสูงพิเศษ และการถ่ายโอนสไตล์

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →