Mục tiêu của InfoNCE và SimCLR
InfoNCE là sự mất mát tương phản dạy một mô hình kéo các cặp phù hợp lại với nhau và đẩy các cặp không khớp ra xa nhau trong không gian nhúng.
Tổng quan
SimCLR is a landmark framework that used this loss to learn powerful image representations from unlabeled data, rivaling supervised pretraining.
Lặn sâu
InfoNCE (Ước tính tương phản nhiễu cho thông tin lẫn nhau) huấn luyện bộ mã hóa sao cho truy vấn và kết quả dương thực sự của nó có điểm tương đồng cao hơn truy vấn và nhiều kết quả âm. Về cơ bản, nó là một entropy chéo softmax đối với các điểm tương đồng: đối với một mỏ neo, cái tích cực sẽ thắng cái tiêu cực. SimCLR (2020) đã vận hành tính năng này cho hình ảnh: chụp một hình ảnh, áp dụng hai mức tăng ngẫu nhiên để tạo một cặp dương, chạy cả hai thông qua bộ mã hóa dùng chung cộng với đầu chiếu và sử dụng entropy chéo có tỷ lệ nhiệt độ chuẩn hóa (NT-Xent, một biến thể của InfoNCE) để hai chế độ xem tăng cường thu hút nhau trong khi tất cả các hình ảnh khác trong lô hoạt động như âm bản. SimCLR đã chỉ ra rằng khả năng tăng cường dữ liệu mạnh mẽ, đầu chiếu phi tuyến, kích thước lô lớn và nhiệt độ được điều chỉnh cùng nhau cho phép các mô hình tự giám sát khớp với các mô hình được giám sát trên ImageNet — mà không có bất kỳ nhãn nào trong quá trình đào tạo trước.
Hiểu biết kỹ thuật
NT-Xent tính toán độ tương tự cosine giữa các phần nhúng được chuẩn hóa L2, chia cho nhiệt độ τ và áp dụng entropy chéo softmax coi giá trị dương là lớp chính xác trong số tất cả các ví dụ trong lô. τ thấp hơn sẽ làm sắc nét sự phân phối và phạt những âm bản khó hơn. Đầu chiếu của SimCLR (MLP) chỉ được sử dụng trong quá trình huấn luyện trước và bị loại bỏ sau đó - các biểu diễn trước khi chuyển đầu tốt hơn. Lô lớn rất quan trọng vì chúng cung cấp nhiều âm bản trong một bước.
Tác động chiến lược
Chi phí và ngân sách
Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
Quyết định rõ ràng hơn
Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
Kiểm soát chất lượng
Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
Tương lai của mục tiêu InfoNCE và SimCLR
Các mục tiêu tương phản vượt xa SimCLR: CLIP căn chỉnh hình ảnh với văn bản bằng cách sử dụng InfoNCE trên các phương thức và cùng một sự mất mát điều khiển các mô hình âm thanh, video và truy xuất. Nghiên cứu hiện nay giúp giảm bớt sự phụ thuộc vào số lượng lớn và nhiều âm bản thông qua ngân hàng bộ nhớ (MoCo) hoặc loại bỏ hoàn toàn các âm bản rõ ràng (BYOL, SimSiam, DINO). Mong đợi sự kết hợp liên tục giữa đào tạo trước mô hình tương phản, chưng cất và tạo mặt nạ, với sự liên kết đa phương thức (văn bản, hình ảnh, âm thanh) làm ranh giới chủ đạo cho các mô hình nền tảng.
Triển khai trong thế giới thực
SimCLR đào tạo trước bộ mã hóa hình ảnh trên các ảnh không được gắn nhãn, sau đó tinh chỉnh trên một bộ nhãn nhỏ để phân loại.
CLIP sử dụng mục tiêu InfoNCE để khớp hình ảnh với chú thích của chúng, cho phép phân loại hình ảnh không cần chụp.
Xây dựng khả năng tìm kiếm/truy xuất trực quan trong đó các hình ảnh tương tự nằm gần nhau trong không gian nhúng đã học.
Đào tạo trước tự giám sát cho hình ảnh y tế hoặc vệ tinh nơi nhãn khan hiếm nhưng dữ liệu thô lại dồi dào.
Rủi ro & lan can
Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Lộ trình thực hiện
Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the InfoNCE and SimCLR Objectives quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Trình tối ưu hóa Lookahead và Lion
Câu hỏi thường gặp
What is InfoNCE and SimCLR Objectives?
InfoNCE là sự mất mát tương phản dạy một mô hình kéo các cặp phù hợp lại với nhau và đẩy các cặp không khớp ra xa nhau trong không gian nhúng. SimCLR là một khung mang tính bước ngoặt đã sử dụng sự mất mát này để tìm hiểu các cách biểu diễn hình ảnh mạnh mẽ từ dữ liệu không được gắn nhãn, cạnh tranh với quá trình đào tạo trước có giám sát.
Mục tiêu InfoNCE khuyến khích mô hình làm gì?
InfoNCE là một phần mềm tối đa hóa các điểm tương đồng nhằm thưởng cho độ tương tự cao đối với điểm tích cực thực sự và độ tương tự thấp đối với điểm tiêu cực.
Trong SimCLR, cặp dương được tạo như thế nào?
SimCLR tạo một cặp dương từ hai chế độ xem tăng cường của cùng một hình ảnh nguồn; các hình ảnh khác đóng vai trò là âm bản.
Nhiệt độ τ đóng vai trò gì trong NT-Xent/InfoNCE?
Việc chia các điểm tương đồng cho τ trước softmax sẽ kiểm soát mức độ mất mát phân biệt giữa âm dương và âm cứng.
Điều gì xảy ra với đầu chiếu của SimCLR sau khi huấn luyện trước?
SimCLR nhận thấy rằng các tính năng trước khi đầu chiếu chuyển giao tốt hơn, do đó, đầu sẽ bị loại bỏ sau khi huấn luyện trước.
Tại sao SimCLR dựa vào kích thước lô lớn?
Trong SimCLR, các hình ảnh khác trong lô đóng vai trò là âm bản, do đó, các lô lớn hơn sẽ mang lại nhiều âm bản hơn và khả năng học tập mạnh mẽ hơn.