Викторина, связанная с руководством · Жесткий Уровень
Викторина «Методы обнаружения галлюцинаций»
Тестирует самосогласованную выборку, связь с источниками на уровне утверждений, сигналы неопределенности, такие как семантическая энтропия, и проверяет модели оценки.
Вопрос 1 из 8
Какое наблюдение лежит в основе методов самосогласованности, таких как SelfCheckGPT?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Какое наблюдение лежит в основе методов самосогласованности, таких как SelfCheckGPT?
- Когда модель знает факт, повторные образцы имеют тенденцию совпадать, тогда как сфабрикованные детали имеют тенденцию различаться.
- Модели всегда дают одинаковые ответы на повторяющиеся вопросы.
- Более длинные ответы всегда точнее
- Установка температуры на ноль устраняет все галлюцинации.
- Каково ключевое ограничение проверки самосогласованности?
- Перед использованием требуется большой размеченный набор данных.
- Работает только с выводами изображений
- Он пропускает ошибки, которые модель постоянно повторяет, и требует дополнительных вызовов модели.
- Он не может работать без извлеченных исходных документов.
- Что на самом деле измеряют проверки последствий на основе источника?
- Дата окончания обучения модели
- Верность предоставленным источникам, что не то же самое, что правда, если источники неверны.
- Как быстро реагирует модель
- Грамматика и качество орфографии
- Чем семантическая энтропия отличается от простой неопределенности на уровне токена?
- Подсчитывает количество слов в каждом ответе
- Он полагается только на оценщиков-людей
- Это позволяет избежать выборки нескольких ответов
- Он группирует выборочные ответы по значению, прежде чем измерять неопределенность.
- Почему руководство рекомендует требовать от верификатора указания вспомогательного диапазона?
- Это делает вывод короче
- Это делает проверку проверяемой, а простое совпадение строк подтверждает появление цитаты в источнике.
- Это делает верификатора более креативным
- Это снижает стоимость проверки до нуля.
- Какие проверки должны выполняться в первую очередь в конвейере обнаружения?
- Дешевые детерминированные проверки, такие как подтверждение существования цитируемых URL-адресов, идентификаторов или номеров дел.
- Полная человеческая проверка каждого ответа
- Точная настройка модели на основе помеченных ответов
- Семантическая энтропия на каждом токене
- Какое предостережение применимо к использованию LLM в качестве судьи?
- Судьи не могут читать первичные документы
- Судьи работают только на английском языке
- Судьи всегда правы
- У судей есть свои предубеждения и процент ошибок, поэтому их следует проверять по человеческим ярлыкам.
- Почему просто спрашивать модель: «Вы уверены?» ненадежный метод обнаружения?
- Модели не могут читать дополнительные вопросы.
- Это запрещено условиями API.
- Модели могут отказываться от правильных ответов или защищать неправильные.
- Это удваивает размер контекстного окна.