Câu đố điều chỉnh tiền tố

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Điều chỉnh tiền tố thực sự đào tạo những gì?
   • Tất cả trọng lượng máy biến áp của mô hình
   • Chỉ lớp từ vựng đầu ra của mô hình
   • Một bản sao riêng của mô hình cho từng nhiệm vụ
   • Một tập hợp nhỏ các vectơ tiền tố liên tục trong khi mô hình vẫn cố định
2. Các vectơ tiền tố được chèn vào đâu?
   • Vào các khóa và giá trị ở mọi lớp chú ý
   • Chỉ ở lớp đầu ra cuối cùng
   • Chỉ vào hàm mất
   • Vào tokenizer trước khi nhúng
3. Ai đã giới thiệu việc điều chỉnh tiền tố và đại khái là khi nào?
   • OpenAI vào năm 2018
   • Li và Liang tại Stanford vào năm 2021
   • Google vào năm 2015
   • Meta vào năm 2023
4. Tại sao việc điều chỉnh tiền tố lại hấp dẫn khi phục vụ nhiều nhiệm vụ?
   • Nó không yêu cầu dữ liệu đào tạo nào cả
   • Nó làm cho suy luận chạy không cần phần cứng
   • Mỗi tác vụ chỉ cần một tiền tố nhỏ thay vì một bản sao mô hình đầy đủ
   • Nó viết lại vĩnh viễn mô hình cơ sở cho tất cả các tác vụ cùng một lúc
5. Thủ thuật nào thường được sử dụng để ổn định việc đào tạo tiền tố?
   • Nhân đôi tốc độ học tập mỗi bước
   • Đóng băng tiền tố và đào tạo mô hình
   • Xóa tất cả các lớp chú ý
   • Tham số lại tiền tố thông qua mạng chuyển tiếp nguồn cấp dữ liệu nhỏ mà sau đó bị loại bỏ
6. Điều chỉnh tiền tố đặc biệt tỏa sáng với loại nhiệm vụ nào?
   • Tạo ngôn ngữ tự nhiên như chuyển bảng thành văn bản và tóm tắt
   • Phân loại hình ảnh
   • Tổng hợp dạng sóng âm thanh
   • Lập chỉ mục cơ sở dữ liệu
7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
   • About 10%
   • About 0.1%
   • Khoảng 50%
   • All model parameters
8. How did prefix-tuning perform in the paper’s low-data settings?
   • It always matched full fine-tuning on every task
   • It could not train with limited examples
   • It outperformed full fine-tuning in some evaluated low-data cases
   • It changed every backbone parameter