Чат-боты раскрывают секреты биологического оружия: журналистское расследование

Сотрудники The Wall Street Journal обнаружили, что чат-боты OpenAI, Anthropic, Google и xAI предоставляли инструкции по созданию ядов и биологического оружия. В некоторых ситуациях пользователи получали пошаговые рекомендации, которые эксперты в области биологии и терроризма назвали «смертельно точными».

Согласно данным издания, ChatGPT от OpenAI получал «сотни» запросов подобного характера. Хотя сервис блокировал подозрительные аккаунты, он не передавал информацию о них в правоохранительные органы. Среди запросов были советы по аэрозолизации патогенов и созданию устойчивых к вакцинам вирусов.

Похожие случаи отмечены и у ботов Claude от Anthropic, Gemini от Google и Grok от xAI. По информации источников, определить, были ли эти запросы реальными попытками получить оружие или просто тестированием возможностей, сложно.

Представители OpenAI уверяют, что их модели обучаются не отвечать на опасные запросы и предупреждают правоохранителей при обнаружении явной угрозы. В Google и Anthropic также заявили о мерах по ограничению доступа к опасной информации.

Журналисты отметили отсутствие в США федеральных правил, обязывающих разработчиков ИИ информировать власти о таких инцидентах. Эксперты неоднократно находили способы обойти защитные механизмы с помощью настойчивого убеждения.

Эми Чанг из Cisco сообщила, что смогла обойти защиту чат-ботов всего за пять строк диалога. Это подчеркивает уязвимость моделей, особенно перед настойчивыми пользователями.

Хамза Чаудхри из Института будущего жизни предупреждает, что ИИ может быть использован террористами для организации биологических атак. Он считает, что ИИ способен заменить годы подготовки, предоставляя советы по изготовлению биологического оружия.

Напомним, 21 июля OpenAI подтвердили атаку на инфраструктуру Hugging Face, произошедшую во время тестирования их ИИ-моделей.