ต่อไปคำแนะนำต่อไป
เครื่องมือเพิ่มประสิทธิภาพ Lookahead และ Lion
เทคนิค
คู่มือทางเทคนิค
InfoNCE คือการสูญเสียเชิงเปรียบเทียบที่สอนแบบจำลองให้ดึงคู่ที่ตรงกันเข้าด้วยกัน และแยกคู่ที่ไม่ตรงกันออกจากกันในพื้นที่ฝัง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
InfoNCE (การประมาณค่าความเปรียบต่างของสัญญาณรบกวนสำหรับข้อมูลร่วมกัน) ฝึกตัวเข้ารหัสเพื่อให้การสืบค้นและค่าบวกที่แท้จริงมีคะแนนความคล้ายคลึงกันที่สูงกว่าการสืบค้นและค่าลบจำนวนมาก โดยพื้นฐานแล้วมันเป็น cross-entropy ของ softmax มากกว่าคะแนนความคล้ายคลึงกัน: สำหรับจุดยึด ค่าบวกควรชนะค่าลบ SimCLR (2020) ดำเนินการสิ่งนี้สำหรับรูปภาพ: ถ่ายภาพหนึ่งภาพ ใช้การเสริมแบบสุ่มสองครั้งเพื่อสร้างคู่ที่เป็นบวก เรียกใช้ทั้งคู่ผ่านตัวเข้ารหัสที่ใช้ร่วมกันบวกกับหัวฉายภาพ และใช้เอนโทรปีข้ามระดับอุณหภูมิปกติ (NT-Xent ซึ่งเป็นตัวแปร InfoNCE) เพื่อให้มุมมองเสริมทั้งสองมุมมองดึงดูดในขณะที่รูปภาพอื่น ๆ ทั้งหมดในแบทช์ทำหน้าที่เป็นเนกาทีฟ SimCLR แสดงให้เห็นว่าการเพิ่มข้อมูลที่แข็งแกร่ง หัวฉายภาพแบบไม่เชิงเส้น ขนาดชุดงานขนาดใหญ่ และอุณหภูมิที่ได้รับการปรับแต่งร่วมกัน ทำให้โมเดลที่ควบคุมด้วยตนเองจับคู่กับโมเดลที่ได้รับการดูแลบน ImageNet โดยไม่มีป้ายกำกับใดๆ ในระหว่างการฝึกล่วงหน้า
SimCLR ฝึกอบรมตัวเข้ารหัสรูปภาพล่วงหน้ากับภาพถ่ายที่ไม่มีป้ายกำกับ จากนั้นปรับแต่งชุดที่มีป้ายกำกับขนาดเล็กเพื่อจัดหมวดหมู่
CLIP ใช้วัตถุประสงค์ InfoNCE เพื่อจับคู่รูปภาพกับคำอธิบายภาพ ทำให้สามารถจัดหมวดหมู่รูปภาพแบบ Zero-shot ได้
สร้างการค้นหา/ดึงข้อมูลด้วยภาพโดยที่รูปภาพที่คล้ายกันวางชิดกันในพื้นที่ฝังที่เรียนรู้
การฝึกอบรมล่วงหน้าแบบมีผู้ดูแลด้วยตนเองสำหรับภาพทางการแพทย์หรือภาพถ่ายดาวเทียม ในกรณีที่ฉลากมีน้อยแต่ข้อมูลดิบมีมากมาย
วัตถุประสงค์ด้านความแตกต่างขยายไปไกลกว่า SimCLR: CLIP จัดแนวรูปภาพกับข้อความโดยใช้ InfoNCE ในรูปแบบต่างๆ และการสูญเสียแบบเดียวกันนี้ทำให้เกิดเสียง วิดีโอ และการดึงข้อมูล ขณะนี้การวิจัยลดการพึ่งพาแบทช์จำนวนมากและเชิงลบจำนวนมากผ่านธนาคารหน่วยความจำ (MoCo) หรือกำจัดเชิงลบที่ชัดเจนทั้งหมด (BYOL, SimSiam, DINO) คาดหวังการผสมผสานอย่างต่อเนื่องของการฝึกล่วงหน้าด้านคอนทราสต์ การกลั่น และการสร้างแบบจำลองแบบสวมหน้ากาก โดยมีการจัดตำแหน่งหลายรูปแบบ (ข้อความ รูปภาพ เสียง) เป็นขอบเขตที่โดดเด่นสำหรับแบบจำลองพื้นฐาน
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
InfoNCE คือการสูญเสียเชิงเปรียบเทียบที่สอนแบบจำลองให้ดึงคู่ที่ตรงกันเข้าด้วยกัน และแยกคู่ที่ไม่ตรงกันออกจากกันในพื้นที่ฝัง SimCLR เป็นเฟรมเวิร์กหลักที่ใช้การสูญเสียนี้เพื่อเรียนรู้การแสดงรูปภาพที่มีประสิทธิภาพจากข้อมูลที่ไม่มีป้ายกำกับ ซึ่งทัดเทียมกับการฝึกอบรมล่วงหน้าภายใต้การดูแล
InfoNCE เป็น softmax เหนือความคล้ายคลึงกันที่ให้รางวัลความคล้ายคลึงกันสูงสำหรับค่าบวกที่แท้จริง และความคล้ายคลึงต่ำสำหรับค่าลบ
SimCLR สร้างคู่ที่เป็นบวกจากสองมุมมองเสริมของรูปภาพต้นฉบับเดียวกัน ภาพอื่นๆ ถือเป็นภาพเชิงลบ
การหารความคล้ายคลึงกันด้วย τ ก่อนที่ซอฟต์แม็กซ์จะควบคุมว่าการสูญเสียแยกแยะความแตกต่างระหว่างค่าบวกและค่าลบแบบแข็งได้มากเพียงใด
SimCLR พบว่าคุณสมบัติก่อนที่หัวฉายจะถ่ายโอนได้ดีกว่า ดังนั้นศีรษะจึงถูกโยนทิ้งไปหลังจากการฝึกล่วงหน้า
ใน SimCLR รูปภาพอื่นๆ ในชุดจะทำหน้าที่เป็นเนกาทีฟ ดังนั้นชุดที่ใหญ่ขึ้นจึงให้ผลเชิงลบมากขึ้นและการเรียนรู้ที่แข็งแกร่งยิ่งขึ้น
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
เครื่องมือเพิ่มประสิทธิภาพ Lookahead และ Lion
เทคนิค