Викторина, связанная с руководством · Средний Уровень

Быстрый тест по версионированию и регрессионному тестированию

Проверяет, что входит в версионную конфигурацию подсказки, как пакеты регрессии справляются с недетерминизмом и почему необходимо закрепление снимков модели и оценок LLM.

Вопрос 1 из 8

Какой набор элементов следует объединить в одну версию подсказки?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какой набор элементов следует объединить в одну версию подсказки?
    • Только краткая формулировка
    • Только название модели
    • Шаблон запроса, идентификатор модели, параметры отбора проб и схемы инструментов
    • Только пользовательский ввод из производства
  2. Зачем прикреплять устаревший снимок модели вместо общего последнего псевдонима?
    • Таким образом, изменения модели происходят только тогда, когда вы намеренно переключаетесь и проводите повторное тестирование.
    • Потому что псевдонимы всегда медленнее
    • Потому что снимки бесплатны
    • Поскольку псевдонимы не поддерживают системные подсказки
  3. Что говорит путеводитель о температуре 0?
    • Он гарантирует одинаковый результат каждый раз
    • Это делает регрессионное тестирование ненужным
    • Это влияет только на длину выходов
    • Это уменьшает случайность, но не гарантирует идентичные результаты при всех запусках.
  4. Как пакет регрессии должен обрабатывать недетерминированные выходные данные?
    • Требовать точное совпадение строк
    • Используйте пороговые значения и повторяющиеся выборки вместо точного равенства.
    • Игнорируйте любые неудачные случаи
    • Тестируйте только на одном примере
  5. Что является сильным источником новых тестовых примеров для золотого набора?
    • Прошлые производственные неудачи превратились в тестовые примеры
    • Случайный текст из сети
    • Только в случаях, когда текущее приглашение уже прошло.
    • Выходные данные скопированы у конкурента
  6. Если судья LLM оценивает результаты, что вам следует делать?
    • Позвольте модели судьи свободно меняться
    • Доверяйте каждому вердикту без пересмотра
    • Прикрепите модель судьи, подскажите и сверьте ее с человеческими ярлыками.
    • Используйте ту же подсказку во время теста, что и судья.
  7. Зачем регистрировать идентификатор версии приглашения с каждым производственным запросом?
    • Чтобы снизить стоимость токена
    • Чтобы повысить точность модели
    • Для выполнения условий поставщика модели
    • Чтобы привязать проблемы к конкретному развертыванию и быстро откатить их назад
  8. Зачем перечислять отдельные случаи, которые перешли от «пройдено» к «неудачно», а не только средний балл?
    • Средние значения всегда неверны
    • Неизменное среднее значение может скрыть новые поломки, компенсированные ростом в других местах.
    • Перевернутые кейсы сокращают затраты на API
    • Оцениваются только перевернутые дела