Викторина, связанная с руководством · Средний Уровень

Тест «Когда цепочка мыслей вредит»

Проверяет определение цепочки мыслей, ограниченные результаты исследований, рекомендации для конкретной модели и сравнения на основе задач, включая задержку.

Связанные направляющие путиКогда цепочка мыслей причиняет боль
Вопрос 1 из 8

Что требует от модели подсказка по цепочке мыслей?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что требует от модели подсказка по цепочке мыслей?
    • Intermediate reasoning text before its answer
    • Only an image input
    • A guaranteed proof of correctness
    • A list of training examples
  2. Что показало исследование ICML 2025 года по шести выбранным задачам?
    • The study tested every task category
    • CoT reduced performance on every task
    • Performance drops on three tasks and mixed effects on the others
    • CoT always improved performance
  3. Что это исследование говорит о CoT во всех задачах ИИ?
    • It guarantees better performance for reasoning models
    • It applies only to image generation
    • It is universally harmful
    • It can reduce performance in some settings but does not establish a universal rule
  4. Почему явное обоснование может увеличить эксплуатационные расходы?
    • It reduces all input context
    • It automatically stops tool use
    • It eliminates evaluation needs
    • It can use additional output tokens and increase latency
  5. Как объяснение, полученное с помощью модели, следует рассматривать как доказательство?
    • As proof the answer is correct
    • As insufficient by itself to prove correctness or faithfully trace the internal process
    • As confirmation the model used a source
    • As a guarantee of transparency
  6. What does OpenAI’s current guidance recommend for its API reasoning models?
    • Never state constraints
    • Always demand a long chain of thought
    • Generally avoid explicit “think step by step” requests
    • Use identical prompts across every model
  7. How should a team decide whether CoT helps its own application?
    • Compare different models and prompts at once
    • Judge by which answer is longer
    • Compare it with direct prompting on representative cases using defined scoring
    • Assume the research paper covers its task
  8. Which factors should a team include when comparing prompt variants?
    • Output quality and relevant costs such as latency or token use
    • Only model marketing claims
    • Whether the explanation sounds confident
    • Only response length