Вікторина, пов’язана з посібником · Середній Рівень
Навчальна вікторина в контексті
Перегляньте миттєві демонстрації, фіксовані ваги моделі, межі дослідження індукційної головки, ефекти порядку прикладів і контекстний бюджет короткочасного навчання.
Питання 1 з 8
Що принципово змінюється всередині моделі під час навчання в контексті?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Що принципово змінюється всередині моделі під час навчання в контексті?
- Вага моделі оновлюється за кілька кроків градієнта
- Невеликий адаптерний рівень навчається на прикладах
- Модель постійно запам'ятовує нове завдання
- У вагах нічого не змінюється; лише підказка керує виводом
- Підказка, яка включає кілька відпрацьованих прикладів перед викликом справжнього запитання:
- Підказка нульового пострілу
- Кілька пострілів підказки
- Тонка настройка
- Навчання з підкріпленням
- What does GPT-3's reported improvement in few-shot performance with scale establish?
- A universal rule that all models below one hundred billion parameters cannot use examples
- A requirement for internet access during every prompt
- An observed trend for the evaluated models and tasks
- A separate emergency training phase
- How should induction-head research be related to broad in-context learning?
- As evidence about a studied mechanism, with limitations on broader conclusions
- As proof that every task uses only one circuit
- As a permanent database of every demonstration
- As a replacement for all task evaluation
- How should an application compare repeated few-shot prompting with fine-tuning?
- Assume fine-tuning is always the least expensive choice
- Measure task quality and the relevant training, request, and maintenance costs
- Assume adding unlimited prompt examples has no cost
- Decide solely by which approach has the longer name
- A few-shot ticket prompt demonstrates only refund and billing labels. What do those examples provide for the next ticket?
- An automatic update to the model's stored weights
- A guarantee that every next ticket fits one of the labels
- A permanent change to all future conversations
- An in-prompt task and label pattern that can guide classification
- Why might the same few-shot classification examples produce different results after reordering?
- The model can be sensitive to the order of examples in its context
- Reordering automatically retrains every parameter
- The label texts must disappear
- The model's vocabulary changes with each permutation
- What resource tradeoff arises when more demonstrations are added to an in-context prompt?
- They use no input tokens because they are examples
- They make the context limit disappear
- They consume more supported context and per-request processing
- They permanently reduce the model's parameter count