Калибровка доверия ИИ

Чрезмерное доверие может скрыть ошибки; слишком малое может препятствовать полезной помощи. Цель — обоснованное, пересматриваемое суждение, связанное с задачей и условиями работы.

Ключевые выводы

• Опирайтесь на конкретные доказательства.
• Оценивайте уверенность, а не принимайте её за чистую монету.
• Измеряйте, как люди пользуются, и отменяйте рекомендации.

Различайте статистическую калибровку от доверия человека. Калиброванная вероятностная оценка эмпирически связана с тем, как часто предсказания верны в сопоставимых случаях. Человеческое доверие также зависит от дизайна интерфейса, прошлого опыта, объяснений и последствий ошибок. Вербальная уверенность модели — ещё один результат для оценки. Без надёжных доказательств это может показаться уверенным. Даже статистически откалиброванная модель может работать плохо, а хорошая калибровка на одном наборе данных не гарантирует калибровку после изменения языка, области или задачи. Предоставляйте пользователям информацию, поддерживающую независимую проверку. Показывайте источники, описывайте релевантные ограничения и отделяйте проверенные результаты от выводов. Избегайте декоративных значков доверия, которые указывают на большую точность, чем измеряемые. Проверяйте, как люди используют систему, а также замечают ли ошибки и правильно ли выполняют задачи. Измеряйте как чрезмерную зависимость, так и ненужное отклонение. Обновляйте рекомендации при изменении поведения и сохраняйте простой способ сообщать об ошибках или выполнять задачу без модели.

1. Представьте себе 100 предсказаний, которым присваивается примерно 80% вероятность верности. В репрезентативной выборке верны только 55.
2. Группа слишком самоуверенна в этой оценке; показанные 80% не должны рассматриваться как доказанная надёжность.
3. Повторите это с достаточным числом примеров из вероятностных диапазонов и важных подгрупп, прежде чем менять способ показа баллов пользователям.

Вымышленные подсчёты иллюстрируют калибровочную оценку и её зависимость от оценочной выборки.