Tiếp theoHướng dẫn tiếp theo
Học liên kết
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Học tập tương phản
Học tập tương phản dạy một mô hình cách kéo những thứ tương tự lại với nhau và đẩy những thứ khác nhau ra xa nhau trong một không gian nhúng.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It matters because it lets AI learn powerful representations from mostly unlabeled data, powering image search, recommendations, and multimodal models.
Lặn sâu
Thay vì dự đoán một nhãn, học tương phản học bằng cách so sánh: với một mục neo, mô hình được huấn luyện sao cho 'dương' phù hợp sẽ ở gần nó trong không gian vectơ trong khi 'âm' không khớp sẽ ở xa. Một công thức tự giám sát phổ biến (như SimCLR) tạo ra các mặt tích cực bằng cách thực hiện hai lần tăng ngẫu nhiên của cùng một hình ảnh (cắt, jitter màu, làm mờ); mọi thứ khác trong lô đều âm. Mô hình ánh xạ đầu vào thành vectơ và phần thưởng mất đi có độ tương tự cao đối với cặp và độ tương tự thấp đối với phần còn lại. Điều này tạo ra các phần nhúng trong đó khoảng cách phản ánh ý nghĩa, do đó, tác vụ xuôi dòng cần ít nhãn hơn nhiều. CLIP áp dụng ý tưởng tương tự trên nhiều phương thức, khớp hình ảnh với chú thích của chúng.
Triển khai trong thế giới thực
CLIP tìm hiểu không gian văn bản-hình ảnh được chia sẻ để bạn có thể tìm kiếm thư viện ảnh với cụm từ được nhập như 'a dog on a ván trượt'.
Huấn luyện trước xương sống thị giác bằng SimCLR trên các bức ảnh không được gắn nhãn, sau đó tinh chỉnh nó để phát hiện bệnh chỉ bằng một bộ nhãn nhỏ.
Xây dựng các đề xuất về sản phẩm hoặc bài hát trong đó các phần nhúng của các mục mà người dùng thích nằm gần nhau để truy xuất lân cận gần nhất.
Hệ thống xác minh khuôn mặt huấn luyện nhúng để hai bức ảnh của cùng một người ở gần nhau và những người khác nhau ở xa nhau.
Tương lai của việc học tập tương phản
Học tập tương phản đang hội tụ với sự tự giám sát ẩn giấu và tổng quát thành các mục tiêu kết hợp nhằm nắm bắt cả sự tương đồng toàn cầu và chi tiết nhỏ. Tác động lớn nhất của nó là đa phương thức: các phần nhúng hình ảnh-văn bản (và bây giờ là âm thanh và video) được căn chỉnh tương phản làm nền tảng cho tìm kiếm, tạo tăng cường truy xuất và phân loại không cần chụp, và dấu chân đó sẽ tăng lên. Mong đợi nhiều công việc hơn để giảm sự thèm ăn đối với các lô lớn, về các chiến lược tăng cường và khai thác tiêu cực tốt hơn, đồng thời mở rộng cách tiếp cận sang các lĩnh vực như hình ảnh y tế và chuỗi thời gian nơi nhãn mác khan hiếm và đắt tiền.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Contrastive Learning quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Contrastive Learning?
Học tập tương phản dạy một mô hình cách kéo những thứ tương tự lại với nhau và đẩy những thứ khác nhau ra xa nhau trong một không gian nhúng. Điều này quan trọng vì nó cho phép AI học cách biểu diễn mạnh mẽ từ hầu hết dữ liệu chưa được gắn nhãn, hỗ trợ tìm kiếm hình ảnh, đề xuất và mô hình đa phương thức.
Mục tiêu cốt lõi của học tập tương phản là gì?
Học tập tương phản định hình một không gian nhúng sao cho các cặp phù hợp là gần nhau và các cặp không khớp sẽ cách xa nhau.
Trong phương pháp hình ảnh tự giám sát như SimCLR, cặp dương thường được tạo như thế nào?
SimCLR hình thành các mặt tích cực từ hai chế độ xem tăng cường của một hình ảnh, với các hình ảnh khác trong lô đóng vai trò là âm bản.
Hàm mất mát nào liên quan nhiều nhất đến việc học tương phản?
InfoNCE, softmax trên điểm tương tự với nhiệt độ, là mục tiêu tương phản tiêu chuẩn.
Tại sao các phương pháp như MoCo sử dụng ngân hàng bộ nhớ hoặc hàng đợi?
Học tập tương phản được hưởng lợi từ nhiều tiêu cực; một hàng đợi cung cấp chúng trong khi vẫn quản lý được kích thước lô.
BYOL và SimSiam đặc biệt đề phòng vấn đề gì mà không sử dụng những lời phủ định rõ ràng?
Nếu không có âm bản, một mô hình có thể ánh xạ mọi thứ vào cùng một vectơ một cách tầm thường; các mục tiêu dừng-gradient và động lượng sẽ ngăn chặn sự sụp đổ này.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này