Tiếp theoHướng dẫn tiếp theo
Trình tối ưu hóa Lookahead và Lion
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Mục tiêu của InfoNCE và SimCLR
InfoNCE là sự mất mát tương phản dạy một mô hình kéo các cặp phù hợp lại với nhau và đẩy các cặp không khớp ra xa nhau trong không gian nhúng.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
SimCLR là một khung mang tính bước ngoặt đã sử dụng sự mất mát này để tìm hiểu các cách biểu diễn hình ảnh mạnh mẽ từ dữ liệu không được gắn nhãn, cạnh tranh với quá trình đào tạo trước có giám sát.
Lặn sâu
InfoNCE (Ước tính tương phản nhiễu cho thông tin lẫn nhau) huấn luyện bộ mã hóa sao cho truy vấn và kết quả dương thực sự của nó có điểm tương đồng cao hơn truy vấn và nhiều kết quả âm. Về cơ bản, nó là một entropy chéo softmax đối với các điểm tương đồng: đối với một mỏ neo, cái tích cực sẽ thắng cái tiêu cực. SimCLR (2020) đã vận hành tính năng này cho hình ảnh: chụp một hình ảnh, áp dụng hai mức tăng ngẫu nhiên để tạo một cặp dương, chạy cả hai thông qua bộ mã hóa dùng chung cộng với đầu chiếu và sử dụng entropy chéo có tỷ lệ nhiệt độ chuẩn hóa (NT-Xent, một biến thể của InfoNCE) để hai chế độ xem tăng cường thu hút nhau trong khi tất cả các hình ảnh khác trong lô hoạt động như âm bản. SimCLR đã chỉ ra rằng khả năng tăng cường dữ liệu mạnh mẽ, đầu chiếu phi tuyến, kích thước lô lớn và nhiệt độ được điều chỉnh cùng nhau cho phép các mô hình tự giám sát khớp với các mô hình được giám sát trên ImageNet — mà không có bất kỳ nhãn nào trong quá trình đào tạo trước.
Triển khai trong thế giới thực
SimCLR đào tạo trước bộ mã hóa hình ảnh trên các ảnh không được gắn nhãn, sau đó tinh chỉnh trên một bộ nhãn nhỏ để phân loại.
CLIP sử dụng mục tiêu InfoNCE để khớp hình ảnh với chú thích của chúng, cho phép phân loại hình ảnh không cần chụp.
Xây dựng khả năng tìm kiếm/truy xuất trực quan trong đó các hình ảnh tương tự nằm gần nhau trong không gian nhúng đã học.
Đào tạo trước tự giám sát cho hình ảnh y tế hoặc vệ tinh nơi nhãn khan hiếm nhưng dữ liệu thô lại dồi dào.
Tương lai của mục tiêu InfoNCE và SimCLR
Các mục tiêu tương phản vượt xa SimCLR: CLIP căn chỉnh hình ảnh với văn bản bằng cách sử dụng InfoNCE trên các phương thức và cùng một sự mất mát điều khiển các mô hình âm thanh, video và truy xuất. Nghiên cứu hiện nay giúp giảm bớt sự phụ thuộc vào số lượng lớn và nhiều âm bản thông qua ngân hàng bộ nhớ (MoCo) hoặc loại bỏ hoàn toàn các âm bản rõ ràng (BYOL, SimSiam, DINO). Mong đợi sự kết hợp liên tục giữa đào tạo trước mô hình tương phản, chưng cất và tạo mặt nạ, với sự liên kết đa phương thức (văn bản, hình ảnh, âm thanh) làm ranh giới chủ đạo cho các mô hình nền tảng.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the InfoNCE and SimCLR Objectives quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Mục tiêu của InfoNCE và SimCLR là gì?
InfoNCE là sự mất mát tương phản dạy một mô hình kéo các cặp phù hợp lại với nhau và đẩy các cặp không khớp ra xa nhau trong không gian nhúng. SimCLR là một khung mang tính bước ngoặt đã sử dụng sự mất mát này để tìm hiểu các cách biểu diễn hình ảnh mạnh mẽ từ dữ liệu không được gắn nhãn, cạnh tranh với quá trình đào tạo trước có giám sát.
Mục tiêu InfoNCE khuyến khích mô hình làm gì?
InfoNCE là một phần mềm tối đa hóa các điểm tương đồng nhằm thưởng cho độ tương tự cao đối với điểm tích cực thực sự và độ tương tự thấp đối với điểm tiêu cực.
Trong SimCLR, cặp dương được tạo như thế nào?
SimCLR tạo một cặp dương từ hai chế độ xem tăng cường của cùng một hình ảnh nguồn; các hình ảnh khác đóng vai trò là âm bản.
Nhiệt độ τ đóng vai trò gì trong NT-Xent/InfoNCE?
Việc chia các điểm tương đồng cho τ trước softmax sẽ kiểm soát mức độ mất mát phân biệt giữa âm dương và âm cứng.
Điều gì xảy ra với đầu chiếu của SimCLR sau khi huấn luyện trước?
SimCLR nhận thấy rằng các tính năng trước khi đầu chiếu chuyển giao tốt hơn, do đó, đầu sẽ bị loại bỏ sau khi huấn luyện trước.
Tại sao SimCLR dựa vào kích thước lô lớn?
Trong SimCLR, các hình ảnh khác trong lô đóng vai trò là âm bản, do đó, các lô lớn hơn sẽ mang lại nhiều âm bản hơn và khả năng học tập mạnh mẽ hơn.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này