Викторина, связанная с руководством · Средний Уровень
Быстрый тест по версионированию и регрессионному тестированию
Проверяет, что входит в версионную конфигурацию подсказки, как пакеты регрессии справляются с недетерминизмом и почему необходимо закрепление снимков модели и оценок LLM.
Вопрос 1 из 8
Какой набор элементов следует объединить в одну версию подсказки?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какой набор элементов следует объединить в одну версию подсказки?
- Только краткая формулировка
- Только название модели
- Шаблон запроса, идентификатор модели, параметры отбора проб и схемы инструментов
- Только пользовательский ввод из производства
- Зачем прикреплять устаревший снимок модели вместо общего последнего псевдонима?
- Таким образом, изменения модели происходят только тогда, когда вы намеренно переключаетесь и проводите повторное тестирование.
- Потому что псевдонимы всегда медленнее
- Потому что снимки бесплатны
- Поскольку псевдонимы не поддерживают системные подсказки
- Что говорит путеводитель о температуре 0?
- Он гарантирует одинаковый результат каждый раз
- Это делает регрессионное тестирование ненужным
- Это влияет только на длину выходов
- Это уменьшает случайность, но не гарантирует идентичные результаты при всех запусках.
- Как пакет регрессии должен обрабатывать недетерминированные выходные данные?
- Требовать точное совпадение строк
- Используйте пороговые значения и повторяющиеся выборки вместо точного равенства.
- Игнорируйте любые неудачные случаи
- Тестируйте только на одном примере
- Что является сильным источником новых тестовых примеров для золотого набора?
- Прошлые производственные неудачи превратились в тестовые примеры
- Случайный текст из сети
- Только в случаях, когда текущее приглашение уже прошло.
- Выходные данные скопированы у конкурента
- Если судья LLM оценивает результаты, что вам следует делать?
- Позвольте модели судьи свободно меняться
- Доверяйте каждому вердикту без пересмотра
- Прикрепите модель судьи, подскажите и сверьте ее с человеческими ярлыками.
- Используйте ту же подсказку во время теста, что и судья.
- Зачем регистрировать идентификатор версии приглашения с каждым производственным запросом?
- Чтобы снизить стоимость токена
- Чтобы повысить точность модели
- Для выполнения условий поставщика модели
- Чтобы привязать проблемы к конкретному развертыванию и быстро откатить их назад
- Зачем перечислять отдельные случаи, которые перешли от «пройдено» к «неудачно», а не только средний балл?
- Средние значения всегда неверны
- Неизменное среднее значение может скрыть новые поломки, компенсированные ростом в других местах.
- Перевернутые кейсы сокращают затраты на API
- Оцениваются только перевернутые дела