ระยะเริ่มต้นFréchet
Fréchet Inception Distance (FID) เป็นตัวชี้วัดมาตรฐานสำหรับการตัดสินว่าชุดรูปภาพที่สร้างขึ้นมีความสมจริงและหลากหลายเพียงใด
ภาพรวม
It compares the statistics of real and generated images in a deep feature space — lower scores mean the fakes look closer to the real thing.
เจาะลึก
FID นำโดย Heusel และคณะ ในปี 2560 ได้แก้ไขข้อบกพร่องที่สำคัญในคะแนนเริ่มต้นก่อนหน้านี้: ไม่เคยเปรียบเทียบรูปภาพที่สร้างขึ้นกับข้อมูลจริงจริง FID ฟีดทั้งรูปภาพจริงและรูปภาพที่สร้างขึ้นผ่านเครือข่าย Inception-v3 ที่ได้รับการฝึกล่วงหน้า และอ่านเวกเตอร์คุณสมบัติ 2048 มิติจากเลเยอร์รวมลึกสำหรับแต่ละรูปภาพ จากนั้นจะจำลองคุณลักษณะแต่ละชุดเป็นแบบเกาส์เซียนหลายตัวแปร โดยสรุปโดยใช้เวกเตอร์เฉลี่ยและเมทริกซ์ความแปรปรวนร่วม ระยะห่างระหว่างเกาส์เซียนทั้งสองคำนวณด้วยระยะทางเฟรเชต์ (เรียกอีกอย่างว่าระยะทาง 2-วัสเซอร์ชไตน์) FID ที่ต่ำกว่าหมายความว่าค่าเฉลี่ยของการกระจายที่สร้างขึ้นนั้นตรงกับภาพจริงอย่างใกล้ชิด โดยจับทั้งความเที่ยงตรง (ดูเหมือนจริงหรือไม่) และความหลากหลาย (ครอบคลุมความหลากหลายของข้อมูลจริงหรือไม่)
ข้อมูลเชิงลึกทางเทคนิค
สูตร FID คือผลต่างกำลังสองของเวกเตอร์เฉลี่ยสองตัวบวกค่าติดตามของ (ผลรวมของความแปรปรวนร่วมลบสองเท่าของรากที่สองของเมทริกซ์ผลคูณของเวกเตอร์) เนื่องจากใช้ความแปรปรวนร่วมเต็มรูปแบบ FID จึงลงโทษทั้งเอาต์พุตที่พร่ามัวและไม่สมจริง และการล่มสลายของโหมดซึ่งแบบจำลองสร้างความหลากหลายน้อยเกินไป มีความไวต่อขนาดตัวอย่าง — มีรูปภาพน้อยเกินไปที่ทำให้ค่าประมาณสูงขึ้น — ดังนั้น โดยทั่วไปแล้วผู้ปฏิบัติงานจะคำนวณรูปภาพเป็นหมื่นๆ รูป ซึ่งมักจะเป็น 50,000 รูป
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
สร้างทางเลือก
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมงานและขั้นตอนการทำงาน
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
อนาคตของระยะเริ่มต้นของFréchet
FID ยังคงเป็นค่าเริ่มต้นของฟิลด์ แต่จุดอ่อนของมันคือแรงผลักดันทางเลือกอื่น นักวิจัยได้แสดงให้เห็นว่ามันสืบทอดความเอนเอียงของ ImageNet จาก Inception-v3 และอาจไม่เห็นด้วยกับการตัดสินใจของมนุษย์ โดยกระตุ้นให้ใช้ตัววัด เช่น FID ที่คำนวณบนคุณสมบัติ CLIP (บางครั้งเรียกว่า FDD หรือ CMMD) Kernel Inception Distance (KID) สำหรับตัวอย่างขนาดเล็ก และตัววัดความแม่นยำ/การเรียกคืนที่แยกความเที่ยงตรงออกจากความหลากหลาย คาดหวังการประเมินที่สมบูรณ์ยิ่งขึ้น ฟีเจอร์หลักที่ไม่เชื่อเรื่องพระเจ้า และสอดคล้องกันในการรับรู้ โดยเฉพาะอย่างยิ่งเมื่อการสร้างข้อความเป็นรูปภาพและวิดีโอมีมากกว่าการสรุปตัวเลขเดียว
การใช้งานจริงในโลกแห่งความเป็นจริง
การเปรียบเทียบ GAN เช่น StyleGAN โดยที่ทีมรายงาน FID บนชุดข้อมูล เช่น FFHQ เพื่อเปรียบเทียบคุณภาพการสร้างใบหน้า
ติดตามความคืบหน้าการฝึกอบรมของแบบจำลองการแพร่กระจายโดยการคำนวณ FID ที่จุดตรวจเพื่อดูว่าคุณภาพของภาพหยุดปรับปรุงเมื่อใด
การเปรียบเทียบโมเดลข้อความเป็นรูปภาพของคู่แข่งบนชุดข้อมูล COCO โดยที่ FID ที่ต่ำกว่าถูกอ้างถึงเป็นหลักฐานของผลลัพธ์ที่สมจริงยิ่งขึ้น
โหมดการตรวจจับจะล่มสลายในเครื่องกำเนิดไฟฟ้า เนื่องจากเงื่อนไขความแปรปรวนร่วมของ FID จะเพิ่มขึ้นเมื่อแบบจำลองสร้างความหลากหลายของภาพน้อยเกินไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Fréchet Inception Distance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
ฟังก์ชันระยะทางที่เซ็นชื่อ
คำถามที่พบบ่อย
What is Fréchet Inception Distance?
Fréchet Inception Distance (FID) เป็นตัวชี้วัดมาตรฐานสำหรับการตัดสินว่าชุดรูปภาพที่สร้างขึ้นมีความสมจริงและหลากหลายเพียงใด โดยจะเปรียบเทียบสถิติของภาพจริงและภาพที่สร้างขึ้นในพื้นที่เชิงลึก คะแนนที่ต่ำกว่าหมายถึงภาพปลอมจะดูใกล้เคียงกับของจริงมากขึ้น
คะแนน FID ที่ต่ำกว่าบ่งบอกถึงอะไร?
FID วัดระยะห่างระหว่างการกระจายคุณสมบัติจริงและที่สร้างขึ้น ดังนั้นค่าที่ต่ำกว่าหมายถึงชุดที่สร้างขึ้นจะตรงกับข้อมูลจริงมากขึ้นในด้านความเที่ยงตรงและความหลากหลาย
FID มาตรฐานใช้เครือข่ายที่ได้รับการฝึกอบรมล่วงหน้าใดในการดึงคุณสมบัติรูปภาพ
FID ส่งรูปภาพผ่านเครือข่าย Inception-v3 ที่ได้รับการฝึกล่วงหน้า และใช้คุณสมบัติเลเยอร์รวม 2048 มิติสำหรับทั้งรูปภาพจริงและที่สร้างขึ้น
FID สรุปคุณลักษณะรูปภาพแต่ละชุดก่อนเปรียบเทียบอย่างไร
ชุดคุณลักษณะแต่ละชุดจำลองเป็นแบบเกาส์เซียนหลายตัวแปร และ FID จะคำนวณระยะห่างของเฟรเชต์ (2-วัสเซอร์สไตน์) ระหว่างเกาส์เซียนทั้งสอง
FID ระบุข้อบกพร่องที่สำคัญประการใดของ Inception Score
คะแนนเริ่มต้นจะประเมินเฉพาะภาพที่สร้างขึ้นแบบแยกส่วนเท่านั้น FID ได้รับการปรับปรุงโดยการเปรียบเทียบโดยตรงระหว่างการกระจายภาพที่สร้างขึ้นและภาพจริง
เหตุใด FID จึงเพิ่มขึ้นเมื่อตัวสร้างทนทุกข์ทรมานจากการล่มสลายของโหมด
FID ใช้คุณสมบัติความแปรปรวนร่วมเต็มรูปแบบ ดังนั้นเมื่อแบบจำลองสร้างความหลากหลายน้อยเกินไป สเปรดจะแตกต่างจากข้อมูลจริง ทำให้คะแนนเพิ่มขึ้น