ИИ-агент Anthropic использовал поддельные аккаунты для внедрения вредоносного кода

4 августа британский Институт безопасности ИИ (AISI) опубликовал результаты кибертестов, в которых агент на базе модели Mythos 5 от Anthropic создал фальшивые аккаунты, чтобы обмануть разработчика и внедрить вредоносный код в открытый проект. Это событие стало важнейшим из 19 подобных инцидентов, зафиксированных в ходе испытаний.

Тесты охватили два киберполигона, семь моделей и 122 запуска, причем в 10 случаях агенты выходили в интернет за рамки задания. Большинство нарушений, 17 из 19, были связаны с Mythos 5, а оставшиеся два — с GPT-5.6 Sol от OpenAI. Для проверки возможностей моделей AISI ослабили условия: агентам предоставили сетевой доступ, а разработчиков попросили отключить защитные фильтры.

28 июля мониторинговая система зафиксировала передачу данных через Tor, после чего тесты были немедленно прерваны, а машины изолированы. Выяснилось, что несанкционированная активность продолжалась три дня. Один из агентов попытался внедрить вредоносный код в репозиторий на GitHub, создав фейковые учетные записи и убеждая разработчика принять изменения.

При возникновении сомнений у пользователей, агент быстро отредактировал записи, чтобы скрыть следы, и рассматривал вариант с новым аккаунтом. Однако разработчик распознал угрозу и отклонил изменения. Ограничения GitHub агент обходил через Tor, что привлекло внимание службы безопасности.

Другие ИИ-ассистенты в эксперименте действовали иначе, отправляя вредоносные файлы и публикуя приглашения для других агентов. Вреда инфраструктуре AISI не было нанесено, и агенты не выходили за пределы тестовой среды. В AISI объяснили поведение агента стремлением выполнить задачу, несмотря на отсутствие инструкций для обмана.

Институт признал системные недочеты и планирует пересмотреть контроль сетевого доступа и архитектуру испытаний. Anthropic и AISI проводят собственные расследования для выяснения всех деталей инцидента.