Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra học tập tự giám sát
Xem xét các mục tiêu bắt nguồn từ dữ liệu, mặt nạ BERT, cặp SimCLR, nhu cầu chú thích, khả năng thích ứng, tác vụ mã thông báo tiếp theo, đầu chiếu và mục tiêu mã thông báo bị hỏng.
Câu hỏi 1 của 8
Nơi tín hiệu giám sát trong các ví dụ tự giám sát được mô tả đến từ đâu?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Nơi tín hiệu giám sát trong các ví dụ tự giám sát được mô tả đến từ đâu?
- Yêu cầu không có mục tiêu huấn luyện
- Chỉ có nhãn ngữ nghĩa mới cho mỗi ví dụ tiền huấn luyện
- Một quy tắc rằng các ví dụ không chứa thông tin hữu ích
- Dữ liệu và các phép biến đổi được xác định của nó
- Các vị trí đầu vào nào đóng góp mục tiêu dự đoán cho mất mát mô hình ngôn ngữ ẩn BERT gốc?
- Các vị trí được chọn cho nhiệm vụ dự đoán MLM
- Mỗi vị trí trong toàn bộ đầu vào bất kể lựa chọn
- Chỉ vị trí đầu tiên của mỗi câu mới
- Chỉ các vị trí xuất hiện sau ranh giới câu cuối cùng
- Trong học tập tương phản như SimCLR, một 'cặp tích cực' là:
- Hai hình ảnh hoàn toàn không liên quan
- Một cặp nhãn do con người viết
- Hai chế độ xem tăng cường của cùng một hình ảnh sẽ ở gần nhau trong không gian nhúng
- Hai bản sao của tập dữ liệu
- Yêu cầu chú thích nào mà tiền huấn luyện tự giám sát có thể giảm trong các ví dụ được mô tả?
- Nhu cầu bất kỳ dữ liệu đầu vào có thể sử dụng
- Những nhãn ngữ nghĩa riêng biệt cho mỗi ví dụ tiền huấn luyện
- Tất cả chi phí tính toán theo định nghĩa
- Nhu cầu đánh giá hiệu suất downstream
- Làm thế nào một biểu diễn học được thông qua tự giám sát có thể được sử dụng cho một nhiệm vụ sau này?
- Bằng cách đánh giá một đầu nhiệm vụ hoặc điều chỉnh biểu diễn thông qua tinh chỉnh
- Bằng cách giả định mọi nhiệm vụ mục tiêu không cần nhãn hoặc xác thực
- Bằng cách loại bỏ tất cả các biểu diễn trước khi đưa ra dự đoán
- Bằng cách coi mất mát tiền huấn luyện là bằng chứng cho độ chính xác của mọi ứng dụng
- Nhiệm vụ tự giám sát của mô hình kiểu GPT khác với nhiệm vụ của BERT như thế nào?
- Nó không sử dụng văn bản nào cả
- Nó yêu cầu nhãn thủ công cho mỗi từ
- Nó chỉ dự đoán từ đầu tiên của tài liệu
- Nó dự đoán mã thông báo tiếp theo thay vì điền vào các mã thông báo bị che giấu
- Trong khung SimCLR gốc, thành phần nào được loại bỏ cho việc sử dụng biểu diễn downstream được báo cáo?
- Bản thân biểu diễn mã hóa
- Đầu dự đoán tương phản
- Tất cả đầu vào huấn luyện trước khi bắt đầu tiền huấn luyện
- Mối quan hệ hình ảnh nguồn cặp dương
- Khi quá trình huấn luyện trước BERT gốc thay thế một vị trí đầu vào được chọn bằng một token ngẫu nhiên, mục tiêu tổn thất của nó là gì?
- Token ngẫu nhiên vừa được chèn vào
- Token đầu tiên của câu tiếp theo trong mọi trường hợp
- Token gốc trước khi bị thay thế
- Không có mục tiêu, vì mọi sự thay thế ngẫu nhiên đều bị loại khỏi quá trình huấn luyện