Викторина, связанная с руководством · Жесткий Уровень

Викторина «Методы обнаружения галлюцинаций»

Тестирует самосогласованную выборку, связь с источниками на уровне утверждений, сигналы неопределенности, такие как семантическая энтропия, и проверяет модели оценки.

Связанные направляющие путиМетоды обнаружения галлюцинаций
Вопрос 1 из 8

Какое наблюдение лежит в основе методов самосогласованности, таких как SelfCheckGPT?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какое наблюдение лежит в основе методов самосогласованности, таких как SelfCheckGPT?
    • Когда модель знает факт, повторные образцы имеют тенденцию совпадать, тогда как сфабрикованные детали имеют тенденцию различаться.
    • Модели всегда дают одинаковые ответы на повторяющиеся вопросы.
    • Более длинные ответы всегда точнее
    • Установка температуры на ноль устраняет все галлюцинации.
  2. Каково ключевое ограничение проверки самосогласованности?
    • Перед использованием требуется большой размеченный набор данных.
    • Работает только с выводами изображений
    • Он пропускает ошибки, которые модель постоянно повторяет, и требует дополнительных вызовов модели.
    • Он не может работать без извлеченных исходных документов.
  3. Что на самом деле измеряют проверки последствий на основе источника?
    • Дата окончания обучения модели
    • Верность предоставленным источникам, что не то же самое, что правда, если источники неверны.
    • Как быстро реагирует модель
    • Грамматика и качество орфографии
  4. Чем семантическая энтропия отличается от простой неопределенности на уровне токена?
    • Подсчитывает количество слов в каждом ответе
    • Он полагается только на оценщиков-людей
    • Это позволяет избежать выборки нескольких ответов
    • Он группирует выборочные ответы по значению, прежде чем измерять неопределенность.
  5. Почему руководство рекомендует требовать от верификатора указания вспомогательного диапазона?
    • Это делает вывод короче
    • Это делает проверку проверяемой, а простое совпадение строк подтверждает появление цитаты в источнике.
    • Это делает верификатора более креативным
    • Это снижает стоимость проверки до нуля.
  6. Какие проверки должны выполняться в первую очередь в конвейере обнаружения?
    • Дешевые детерминированные проверки, такие как подтверждение существования цитируемых URL-адресов, идентификаторов или номеров дел.
    • Полная человеческая проверка каждого ответа
    • Точная настройка модели на основе помеченных ответов
    • Семантическая энтропия на каждом токене
  7. Какое предостережение применимо к использованию LLM в качестве судьи?
    • Судьи не могут читать первичные документы
    • Судьи работают только на английском языке
    • Судьи всегда правы
    • У судей есть свои предубеждения и процент ошибок, поэтому их следует проверять по человеческим ярлыкам.
  8. Почему просто спрашивать модель: «Вы уверены?» ненадежный метод обнаружения?
    • Модели не могут читать дополнительные вопросы.
    • Это запрещено условиями API.
    • Модели могут отказываться от правильных ответов или защищать неправильные.
    • Это удваивает размер контекстного окна.