คู่มือทางเทคนิค

วัตถุประสงค์ของ InfoNCE และ SimCLR

InfoNCE คือการสูญเสียเชิงเปรียบเทียบที่สอนแบบจำลองให้ดึงคู่ที่ตรงกันเข้าด้วยกัน และแยกคู่ที่ไม่ตรงกันออกจากกันในพื้นที่ฝัง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. วัตถุประสงค์ในอนาคตของ InfoNCE และ SimCLR
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.

เจาะลึก

InfoNCE (การประมาณค่าความเปรียบต่างของสัญญาณรบกวนสำหรับข้อมูลร่วมกัน) ฝึกตัวเข้ารหัสเพื่อให้การสืบค้นและค่าบวกที่แท้จริงมีคะแนนความคล้ายคลึงกันที่สูงกว่าการสืบค้นและค่าลบจำนวนมาก โดยพื้นฐานแล้วมันเป็น cross-entropy ของ softmax มากกว่าคะแนนความคล้ายคลึงกัน: สำหรับจุดยึด ค่าบวกควรชนะค่าลบ SimCLR (2020) ดำเนินการสิ่งนี้สำหรับรูปภาพ: ถ่ายภาพหนึ่งภาพ ใช้การเสริมแบบสุ่มสองครั้งเพื่อสร้างคู่ที่เป็นบวก เรียกใช้ทั้งคู่ผ่านตัวเข้ารหัสที่ใช้ร่วมกันบวกกับหัวฉายภาพ และใช้เอนโทรปีข้ามระดับอุณหภูมิปกติ (NT-Xent ซึ่งเป็นตัวแปร InfoNCE) เพื่อให้มุมมองเสริมทั้งสองมุมมองดึงดูดในขณะที่รูปภาพอื่น ๆ ทั้งหมดในแบทช์ทำหน้าที่เป็นเนกาทีฟ SimCLR แสดงให้เห็นว่าการเพิ่มข้อมูลที่แข็งแกร่ง หัวฉายภาพแบบไม่เชิงเส้น ขนาดชุดงานขนาดใหญ่ และอุณหภูมิที่ได้รับการปรับแต่งร่วมกัน ทำให้โมเดลที่ควบคุมด้วยตนเองจับคู่กับโมเดลที่ได้รับการดูแลบน ImageNet โดยไม่มีป้ายกำกับใดๆ ในระหว่างการฝึกล่วงหน้า

การใช้งานจริงในโลกแห่งความเป็นจริง

SimCLR ฝึกอบรมตัวเข้ารหัสรูปภาพล่วงหน้ากับภาพถ่ายที่ไม่มีป้ายกำกับ จากนั้นปรับแต่งชุดที่มีป้ายกำกับขนาดเล็กเพื่อจัดหมวดหมู่

CLIP ใช้วัตถุประสงค์ InfoNCE เพื่อจับคู่รูปภาพกับคำอธิบายภาพ ทำให้สามารถจัดหมวดหมู่รูปภาพแบบ Zero-shot ได้

สร้างการค้นหา/ดึงข้อมูลด้วยภาพโดยที่รูปภาพที่คล้ายกันวางชิดกันในพื้นที่ฝังที่เรียนรู้

การฝึกอบรมล่วงหน้าแบบมีผู้ดูแลด้วยตนเองสำหรับภาพทางการแพทย์หรือภาพถ่ายดาวเทียม ในกรณีที่ฉลากมีน้อยแต่ข้อมูลดิบมีมากมาย

วัตถุประสงค์ในอนาคตของ InfoNCE และ SimCLR

วัตถุประสงค์ด้านความแตกต่างขยายไปไกลกว่า SimCLR: CLIP จัดแนวรูปภาพกับข้อความโดยใช้ InfoNCE ในรูปแบบต่างๆ และการสูญเสียแบบเดียวกันนี้ทำให้เกิดเสียง วิดีโอ และการดึงข้อมูล ขณะนี้การวิจัยลดการพึ่งพาแบทช์จำนวนมากและเชิงลบจำนวนมากผ่านธนาคารหน่วยความจำ (MoCo) หรือกำจัดเชิงลบที่ชัดเจนทั้งหมด (BYOL, SimSiam, DINO) คาดหวังการผสมผสานอย่างต่อเนื่องของการฝึกล่วงหน้าด้านคอนทราสต์ การกลั่น และการสร้างแบบจำลองแบบสวมหน้ากาก โดยมีการจัดตำแหน่งหลายรูปแบบ (ข้อความ รูปภาพ เสียง) เป็นขอบเขตที่โดดเด่นสำหรับแบบจำลองพื้นฐาน

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the InfoNCE and SimCLR Objectives quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is InfoNCE and SimCLR Objectives?

InfoNCE คือการสูญเสียเชิงเปรียบเทียบที่สอนแบบจำลองให้ดึงคู่ที่ตรงกันเข้าด้วยกัน และแยกคู่ที่ไม่ตรงกันออกจากกันในพื้นที่ฝัง SimCLR เป็นเฟรมเวิร์กหลักที่ใช้การสูญเสียนี้เพื่อเรียนรู้การแสดงรูปภาพที่มีประสิทธิภาพจากข้อมูลที่ไม่มีป้ายกำกับ ซึ่งทัดเทียมกับการฝึกอบรมล่วงหน้าภายใต้การดูแล

วัตถุประสงค์ของ InfoNCE สนับสนุนให้แบบจำลองทำอะไร

InfoNCE เป็น softmax เหนือความคล้ายคลึงกันที่ให้รางวัลความคล้ายคลึงกันสูงสำหรับค่าบวกที่แท้จริง และความคล้ายคลึงต่ำสำหรับค่าลบ

ใน SimCLR คู่ที่เป็นบวกถูกสร้างขึ้นอย่างไร

SimCLR สร้างคู่ที่เป็นบวกจากสองมุมมองเสริมของรูปภาพต้นฉบับเดียวกัน ภาพอื่นๆ ถือเป็นภาพเชิงลบ

อุณหภูมิ τ มีบทบาทอย่างไรใน NT-Xent / InfoNCE

การหารความคล้ายคลึงกันด้วย τ ก่อนที่ซอฟต์แม็กซ์จะควบคุมว่าการสูญเสียแยกแยะความแตกต่างระหว่างค่าบวกและค่าลบแบบแข็งได้มากเพียงใด

จะเกิดอะไรขึ้นกับหัวฉายของ SimCLR หลังจากการฝึกล่วงหน้า

SimCLR พบว่าคุณสมบัติก่อนที่หัวฉายจะถ่ายโอนได้ดีกว่า ดังนั้นศีรษะจึงถูกโยนทิ้งไปหลังจากการฝึกล่วงหน้า

เหตุใด SimCLR จึงพึ่งพาขนาดแบทช์ขนาดใหญ่

ใน SimCLR รูปภาพอื่นๆ ในชุดจะทำหน้าที่เป็นเนกาทีฟ ดังนั้นชุดที่ใหญ่ขึ้นจึงให้ผลเชิงลบมากขึ้นและการเรียนรู้ที่แข็งแกร่งยิ่งขึ้น

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →