Викторина, связанная с руководством · Средний Уровень
Викторина «Дрейф инструкций в длинных разговорах»
Определите, когда предыдущие ограничения теряются, отличайте отклонение от измененного запроса и тестируйте постоянные правила на разных этапах.
Вопрос 1 из 8
Когда в долгом разговоре происходит отклонение инструкций?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Когда в долгом разговоре происходит отклонение инструкций?
- Пользователь явно заменяет одну инструкцию другой.
- Более поздний ответ прекращается в соответствии с все еще применимой предыдущей инструкцией.
- Модель повторяет правильный ответ
- Разговор заканчивается после одного хода
- Что показало исследование стабильности инструкций 2024 года?
- Каждая нынешняя модель выходит из строя ровно через восемь ходов.
- Этот дрейф происходит только при генерации изображения.
- Что пользователи никогда не меняют инструкции
- Дрифт в протестированных чат-ботах с инструкциями в течение восьми раундов
- Когда изменение ответа не обязательно является отклонением инструкции?
- Когда пользователь явно обновляет или заменяет предыдущую инструкцию
- Когда постоянное ограничение игнорируется без объяснения причин
- Когда помощник нарушает действующее правило
- Когда формат исчезает после нескольких ходов
- Почему оценка должна определять, какие инструкции сохраняются?
- Чтобы гарантировать, что каждый ответ модели правильный
- Чтобы сократить количество тестовых случаев до одного
- Чтобы отличить истинное отклонение от законных изменений или конфликтов.
- Чтобы запретить пользователям менять цели
- Что может помочь пользователю проверить ограничения во время длительной задачи?
- Добавляйте несвязанный контекст каждый ход
- Попросите краткое изложение активных требований и сверьте их с контрольным списком.
- Предположим, что все предыдущие правила всегда соблюдаются.
- Избегайте просмотра результатов
- Как следует реализовать важные правила доступа и безопасности в рабочем процессе агента?
- Применяйте их в разрешениях кода или инструмента, где это возможно.
- Полагайтесь только на напоминание в чате
- Разрешить полученным документам переопределять их
- Удаление журналов аудита
- Какие переменные должны меняться при тесте на дрейф инструкций?
- Только размер шрифта
- Только расширение файла
- Только окончательная длина ответа
- Количество поворотов, изменения тем, длина контекста и исправления
- Гарантируют ли напоминания, что смещение инструкций не произойдет?
- Да, если повторить дважды
- Да, если разговор идет о писательстве
- Нет; это полезные проверки, а не гарантии
- Нет, потому что напоминания никогда не помогают