Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Câu đố điều chỉnh nhanh chóng
Xem lại các lời nhắc mềm ở lớp đầu vào, thiết lập mô hình cố định và các kết quả phụ thuộc vào tỷ lệ được báo cáo để điều chỉnh lời nhắc.
Câu hỏi 1 của 8
'Dấu nhắc mềm' trong điều chỉnh dấu nhắc là gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- 'Dấu nhắc mềm' trong điều chỉnh dấu nhắc là gì?
- Đã học các vectơ nhúng liên tục mà không cần ánh xạ tới các từ thực
- Lời hướng dẫn bằng văn bản lịch sự
- Một bản sao nhỏ hơn của mô hình
- Một tập hợp các nhật ký đầu ra bị đóng băng
- Điều chỉnh nhắc nhở thêm các vectơ có thể huấn luyện của nó ở đâu?
- Tại mỗi lớp máy biến áp
- Chỉ ở lớp nhúng đầu vào
- Chỉ ở lớp đầu ra
- Bên trong trạng thái tối ưu hóa
- Bài báo gốc nêu bật tác dụng đáng ngạc nhiên nào về quy mô mô hình?
- Việc điều chỉnh kịp thời trở nên tệ hơn khi các mô hình phát triển
- Thang âm không có tác dụng điều chỉnh nhanh chóng
- Khi các mô hình phát triển lớn hơn, việc điều chỉnh kịp thời sẽ đạt đến chất lượng tinh chỉnh hoàn chỉnh
- Các mô hình lớn hơn không còn có thể được điều chỉnh kịp thời
- Ai đã giới thiệu việc điều chỉnh nhanh chóng?
- DeepMind năm 2016
- Anthropic vào năm 2023
- Microsoft vào năm 2019
- Các nhà nghiên cứu tại Google (Lester, Al-Rfou, Constant) vào năm 2021
- Làm cách nào để điều chỉnh kịp thời cho phép thực hiện nhiều tác vụ từ một mô hình?
- Mỗi tác vụ sử dụng dấu nhắc mềm nhỏ của riêng nó trong khi mô hình vẫn bị treo
- Nó đào tạo lại toàn bộ mô hình cho mỗi yêu cầu
- Nó xóa các nhiệm vụ không sử dụng khỏi trọng số
- Nó yêu cầu GPU riêng cho mỗi tác vụ
- How does Lester and colleagues’ paper describe prompt tuning in relation to prefix tuning?
- As a replacement for frozen language models
- As a simpler related method that the paper compares with prefix tuning
- As a tokenizer with no trainable parameters
- As a method that updates every model weight
- Which model family did Lester and colleagues use to study prompt tuning across scales?
- WaveNet
- AlphaFold2
- T5
- Rừng Cách Ly
- How are soft prompts optimized in prompt tuning?
- By changing all model weights for each task
- By replacing embeddings with hard-coded words only
- By training a new tokenizer for every example
- By backpropagation through a frozen language model to update the prompt vectors