Что случилось
Согласно сообщению CNN, аналитик командования специальных операций США использовал чат-бота с искусственным интеллектом для оценки присутствия китайского корабля на Ближнем Востоке. ИИ объединил данные разведки из открытых источников и секретные радиосигналы, чтобы сделать ошибочный вывод о том, что судно перевозило компоненты ядерного оружия. Эта ложная оценка едва не спровоцировала военное нападение, пока официальные лица не определили, что ошибка была сгенерирована искусственным интеллектом.
CNN сообщает, что ложный отчет разведки, частично сгенерированный чат-ботом с искусственным интеллектом, чуть не стал причиной нападения американских военных на китайский корабль на Ближнем Востоке. Источник, которого цитирует CNN, заявил, что инцидент «почти положил начало войне».
Оценка была составлена аналитиком командования специальных операций, который запросил чат-бота с искусственным интеллектом о описании корабля. Предположительно, ИИ объединил разведывательные данные из открытых источников с секретными сигнальными данными, чтобы прийти к выводу, что на корабле находятся компоненты программы создания ядерного оружия.
Сообщается, что военные чиновники определили, что эта оценка была сгенерирована искусственным интеллектом еще до начала какой-либо атаки. CNN отметила, что не может определить, что на самом деле перевозил корабль или какой конкретный инструмент искусственного интеллекта, коммерческий или правительственный, использовал аналитик.
Engadget запросил у Министерства обороны комментарий по поводу репортажа CNN. Инцидент произошел на фоне январской записки министра обороны Пита Хегсета, предписывающей Министерству обороны стать «в первую очередь искусственным интеллектом» и экспериментировать с моделями ведущих американских компаний, занимающихся искусственным интеллектом.
Подробности об источнике: engadget.com ↗
Почему это важно
Этот инцидент иллюстрирует критические риски для безопасности, связанные с интеграцией ИИ в процессы принятия важных военных решений. По мере того, как Министерство обороны ускоряет реализацию своей стратегии «ИИ прежде всего» и сотрудничает с крупными технологическими фирмами, вероятность того, что галлюцинации или ошибки ИИ могут спровоцировать непреднамеренные геополитические конфликты, становится реальной проблемой безопасности, а не теоретической.
Этот инцидент подчеркивает опасность использования искусственного интеллекта для проведения конфиденциального анализа разведывательных данных, поскольку ошибки могут иметь катастрофические геополитические последствия. Это подчеркивает необходимость надежных протоколов человеческого надзора и проверки в военных приложениях ИИ.
Это событие важно, поскольку оно демонстрирует реальный режим отказа ИИ в условиях высоких ставок, переводя обсуждение безопасности ИИ от абстрактных этических дебатов к конкретным операционным рискам в области национальной безопасности.
Недавнее партнерство Министерства обороны с такими компаниями, как SpaceXAI, NVIDIA, Microsoft и Amazon, для интеграции технологий искусственного интеллекта повышает актуальность установления четких стандартов безопасности и мер подотчетности для решений, основанных на искусственном интеллекте, в оборонном контексте.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
Why can ethical evaluation not be reduced to one model score?
Что посмотреть дальше
Следите за официальными ответами Министерства обороны на репортажи CNN, потенциальными изменениями в политике в отношении проверки ИИ в рабочих процессах военной разведки, а также дополнительной информацией о том, какие конкретные инструменты ИИ используются в секретных оборонных операциях.
Официальные заявления или расследования Министерства обороны относительно инцидента и конкретных задействованных инструментов искусственного интеллекта.
Потенциальные нормативные или политические изменения в Министерстве обороны, требующие более строгих требований к участию человека в оценках разведывательных данных, генерируемых ИИ.
Дальнейший отчет о конкретных возможностях и ограничениях систем искусственного интеллекта, которые в настоящее время интегрируются в военные операции США.