Викторина, связанная с руководством · Жесткий Уровень
Тест на уровень галлюцинаций в легальных инструментах искусственного интеллекта
Проверяет, как Стэнфордские исследования определяют и измеряют юридические галлюцинации ИИ, каковы ошибочные ответы и почему генерация с расширенным поиском все еще терпит неудачу.
Вопрос 1 из 8
Как Стэнфордский университет «Без галлюцинаций?» исследование определяет галлюцинацию?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Как Стэнфордский университет «Без галлюцинаций?» исследование определяет галлюцинацию?
- Any answer longer than the source document
- An answer that is either incorrect or misgrounded
- Only a citation to a case that does not exist
- Any answer the tool took more than a minute to produce
- Что такое «необоснованный» ответ с точки зрения Стэнфордского исследования?
- An answer that refuses to respond
- An answer written in the wrong language
- An answer with no citations at all
- An answer that cites a real source that does not support its claim
- Какой инструмент показал лучшие результаты в Стэнфордском тесте 2024 года, но все же вызывал галлюцинации более чем в 17 процентах запросов?
- Lexis+ AI
- Westlaw AI-Assisted Research
- Ask Practical Law AI
- GPT-4 used as a comparison
- Какой диапазон галлюцинаций обнаружила «Большая юридическая фикция» для чат-ботов общего назначения по проверяемым вопросам федерального суда?
- 1 to 3 percent
- 17 to 33 percent
- 69 to 88 percent
- 95 to 100 percent
- Почему на этапе поиска может быть обнаружен неправильный авторитет, даже если в базе данных есть правильный?
- Legal databases are encrypted and cannot be searched
- Retrieval only works for statutes, not cases
- Retrieval ranks documents alphabetically
- Retrieval matches similar wording or meaning, which is not the same as legal relevance
- What tendency did the research find when questions contained a false premise?
- Models tended to accept the premise and answer as if it were true
- Models always corrected the premise
- Models refused every such question
- Models replied only with the text of the relevant statute
- Which mitigation specifically helps flag a cited case that was later reversed or overruled?
- Raising the model's temperature setting
- Making answers shorter
- Translating the query into another language
- Connecting a citator such as KeyCite or Shepard's
- What marketing claim did the Stanford study's title directly question?
- That legal AI tools were cheaper than paralegals
- That some tools were 'hallucination-free'
- That legal AI could pass the bar exam
- That AI tools were approved by courts