Викторина, связанная с руководством · Жесткий Уровень
Автоматическая оптимизация подсказок и тест DSPy
Проверьте свои знания об оценке подсказок по метрике, о том, как APE и OPRO ищут инструкции, а также о том, как работают сигнатуры и оптимизаторы DSPy.
Вопрос 1 из 8
Что необходимо предоставить для работы автоматической быстрой оптимизации?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что необходимо предоставить для работы автоматической быстрой оптимизации?
- Only a longer prompt
- A task, a set of example inputs and a metric to score outputs
- A fine-tuned model and a GPU cluster
- A list of banned words
- В ОПРО что играет роль оптимизатора?
- A gradient descent step on the model's weights
- A human prompt engineer
- A random search with no feedback
- An LLM given a meta-prompt listing earlier instructions and their scores
- Что иллюстрирует результат OPRO «Сделайте глубокий вдох и работайте над этой проблемой шаг за шагом»?
- Optimized wording can be unintuitive and specific to a model
- Breathing instructions work for every model
- Math tasks do not need prompts
- OPRO only works for writing tasks
- Что такое подпись DSPy?
- A cryptographic key for the API
- A model's version number
- A declaration of a step's inputs and outputs, such as "question, context -> answer"
- A watermark on generated text
- Как BootstrapFewShot от DSPy получает свои демонстрации?
- It downloads examples from the internet
- It runs the program on training inputs and keeps the traces where the metric passes
- It asks the user to label every intermediate step
- It uses the longest available examples
- Why should you keep a separate held-out set when optimizing prompts?
- To reduce the size of the prompt
- To make the optimizer run faster
- It is required by the API
- To check whether the optimized prompt has overfit the training examples
- What were DSPy's optimizers called earlier?
- Teleprompters
- Compilers
- Tokenizers
- Retrievers
- What approach did APE (Automatic Prompt Engineer) take?
- It fine-tuned model weights on instructions
- It hand-wrote prompts from expert interviews
- It had a model propose instructions from input-output examples and kept the highest-scoring ones
- It removed instructions entirely