Викторина, связанная с руководством · Средний Уровень

Викторина «Дрейф инструкций в длинных разговорах»

Определите, когда предыдущие ограничения теряются, отличайте отклонение от измененного запроса и тестируйте постоянные правила на разных этапах.

Связанные направляющие путиСмещение инструкций в долгих разговорах
Вопрос 1 из 8

Когда в долгом разговоре происходит отклонение инструкций?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Когда в долгом разговоре происходит отклонение инструкций?
    • Пользователь явно заменяет одну инструкцию другой.
    • Более поздний ответ прекращается в соответствии с все еще применимой предыдущей инструкцией.
    • Модель повторяет правильный ответ
    • Разговор заканчивается после одного хода
  2. Что показало исследование стабильности инструкций 2024 года?
    • Каждая нынешняя модель выходит из строя ровно через восемь ходов.
    • Этот дрейф происходит только при генерации изображения.
    • Что пользователи никогда не меняют инструкции
    • Дрифт в протестированных чат-ботах с инструкциями в течение восьми раундов
  3. Когда изменение ответа не обязательно является отклонением инструкции?
    • Когда пользователь явно обновляет или заменяет предыдущую инструкцию
    • Когда постоянное ограничение игнорируется без объяснения причин
    • Когда помощник нарушает действующее правило
    • Когда формат исчезает после нескольких ходов
  4. Почему оценка должна определять, какие инструкции сохраняются?
    • Чтобы гарантировать, что каждый ответ модели правильный
    • Чтобы сократить количество тестовых случаев до одного
    • Чтобы отличить истинное отклонение от законных изменений или конфликтов.
    • Чтобы запретить пользователям менять цели
  5. Что может помочь пользователю проверить ограничения во время длительной задачи?
    • Добавляйте несвязанный контекст каждый ход
    • Попросите краткое изложение активных требований и сверьте их с контрольным списком.
    • Предположим, что все предыдущие правила всегда соблюдаются.
    • Избегайте просмотра результатов
  6. Как следует реализовать важные правила доступа и безопасности в рабочем процессе агента?
    • Применяйте их в разрешениях кода или инструмента, где это возможно.
    • Полагайтесь только на напоминание в чате
    • Разрешить полученным документам переопределять их
    • Удаление журналов аудита
  7. Какие переменные должны меняться при тесте на дрейф инструкций?
    • Только размер шрифта
    • Только расширение файла
    • Только окончательная длина ответа
    • Количество поворотов, изменения тем, длина контекста и исправления
  8. Гарантируют ли напоминания, что смещение инструкций не произойдет?
    • Да, если повторить дважды
    • Да, если разговор идет о писательстве
    • Нет; это полезные проверки, а не гарантии
    • Нет, потому что напоминания никогда не помогают