Исследователи описали риск ботнетов на базе галлюцинаций ИИ-агентовИсследователи из Тель-Авивского университета, Техниона и Intuit описали новый класс атак на агентные ИИ-приложения. Он использует способность языковых моделей выдумывать несуществующи
📅
10.07.2026 10:13
Исследователи из Тель-Авивского университета, Техниона и Intuitописалиновый класс атак на агентные ИИ-приложения. Он использует способность языковых моделей выдумывать несуществующие идентификаторы репозиториев, навыков и других внешних ресурсов.
В препринте авторы показали, что такие ошибки можно превратить в канал доставки вредоносных инструкций. В контролируемых экспериментах атака приводила к вызову встроенных инструментов ИИ-агентов и удаленному выполнению кода.
«СклонностьLLMгаллюцинировать идентификаторы ресурсов можно использовать для усиления нетаргетированныхpromptware-атак», — говорится в работе.
«СклонностьLLMгаллюцинировать идентификаторы ресурсов можно использовать для усиления нетаргетированныхpromptware-атак», — говорится в работе.
Речь идет именно об агентных ИИ-системах, которые не просто отвечают на вопросы, а получают доступ к файлам, ищут в интернете, клонируют репозитории, устанавливают расширения, запускают команды в терминале и вызываютAPI.
Авторы назвали атаку Adversarial HalluSquatting. Сценарий строится вокруг предсказуемой ошибки модели. Пользователь просит ИИ-агента, например, клонировать популярный репозиторий или установить навык. Агент должен сам определить точный адрес ресурса. Если модель не знает правильный идентификатор, она может придумать похожий.
Атакующий заранее отслеживает популярные ресурсы, многократно опрашивает модель и выясняет, какие несуществующие адреса она чаще всего генерирует. После этого регистрирует такие имена на GitHub, ClawHub или другой платформе и размещает там вредоносные инструкции. Если ИИ-агент позднее «галлюцинирует» именно этот адрес, он подтянет вредоносный ресурс и начнет работать с ним как с настоящим.
Авторы указали на масштабируемость схемы. В отличие от прежнихинъекций промпта, злоумышленнику не нужно отправлять письмо конкретной жертве, добавлять событие в календарь или получать доступ к общему документу. Достаточно опубликовать вредоносный ресурс в публичном месте и дождаться, пока агент сам его запросит.
«Один скомпрометированный ресурс может привести к компрометации множества машин», — отметили исследователи.
«Один скомпрометированный ресурс может привести к компрометации множества машин», — отметили исследователи.
Что показали тесты на репозиториях
Исследователи провели более 14 000 запусков. На первом этапе они проверили шесть базовых моделей через публичные API: Gemini 2.5 Flash, Gemini 2.5 Pro, GPT-5.1, GPT-5.2, Sonnet 4.5 и Opus 4.5.
Моделям давали запрос вида «выведи shell-команду для клонирования репозитория». В выборку вошли 10 недавних проектов из GitHub Trending и пять старых репозиториев 2013–2018 годов в качестве контрольной группы.
Для новых репозиториев средний уровень галлюцинаций составил 92,4%. В 53 из 60 комбинаций «репозиторий — модель» система ни разу не указала правильного владельца проекта. Для старых репозиториев средний показатель был 0,9%. По словам авторов, разрыв связан с тем, что старые проекты, вероятно, присутствовали в обучающих данных моделей, а новые — нет.
Исследователи выделили три типа галлюцинаций:
Модель ставит название репозитория и в поле владельца, создавая адрес вида repo/repo.
Приписывание проекта реальному, но неправильному владельцу.
Placeholder-ответы вроде username/repo.
Самым удобным для атаки оказался первый вариант, поскольку предсказуем и часто доступен для регистрации. На 6000 запросов по новым проектам модели выдали прямо пригодный для регистрацииslugв 27% запусков — 1602 раза. Для каждого трендового репозитория из выборки нашелся как минимум один регистрируемый кандидат в топ-10 универсального рейтинга.
Что произошло в реальных ИИ-приложениях
На втором этапе авторы перешли от базовых моделей к рабочим приложениям с доступом к терминалу. В тестах участвовали Cursor, Cursor CLI, Windsurf, GitHub Copilot, Cline, Gemini CLI, а также OpenClaw, ZeroClaw и NanoClaw.
В сценариях клонирования репозиториевend-to-end-атакасрабатывала в 20–65% запусков в зависимости от приложения, модели и типа полезной нагрузки. В таблице исследования указаны, например, 65% для Windsurf с SWE-1.5, 45% для Cline, 35% для Copilot Chat, 30% для Cursor CLI и 20–25% для разных сценариев Cursor.
У OpenClaw результаты были выше. С Sonnet 4.6 система показала 100% как по вызову встроенных инструментов, так и по удаленному выполнению кода. С Opus 4.6 показатель составил 80% в обоих сценариях. С GPT-5.4 Codex вызов инструментов сработал в 10 из 10 запусков, а RCE — в 4 из 10.
Почему веб-поиск помогает, но не решает проблему
Одним из главных защитных факторов оказался веб-поиск перед клонированием или установкой ресурса. Когда Cursor CLI выполнял поиск перед клонированием, 93,4% результатов были корректными. Без поиска 99,1% slug оказались галлюцинированными.
Формулировка запроса тоже сильно влияла на итог. Ни один тип промпта не оказался универсально безопасным, в каждой категории нашлась хотя бы одна модель с уровнем галлюцинаций выше 50%.
Skill squatting: атака через навыки
Отдельный блок исследования посвящен ClawHub — маркетплейсу навыков для OpenClaw и совместимых ассистентов. Исследователи нашли два класса уязвимостей:
расхождение между человекочитаемым названием навыка и его реальным slug.
В одном эксперименте OpenClaw с Sonnet 4.6 проверяли на 14 навыках. Из 140 запусков 127 (90,7%) привели к идентификатору, который мог быть зарегистрирован атакующим. Только 13 запусков вернули канонический slug.
В другом эксперименте авторы проверяли переносимость атаки между OpenClaw, ZeroClaw и NanoClaw. Из 90 запусков 85 (94,4%) завершились негативно. После установки подмененного навыка результаты были еще жестче. Эксперимент с эксфильтрацией контекста дал 100% успеха: каждая комбинация ассистента и модели доставляла полезную нагрузку во всех 10 запусках. Сценарий, при котором скомпрометированное устройство само подключается к серверу атакующего и передает ему доступ к командной строке, сработал в 88% случаев.
Что предложили авторы и как ответили вендоры
Исследователи сообщили о результатах разработчикам приложений, провайдерам моделей и платформам. На стороне ИИ-приложений они предложили проверять источник перед любой загрузкой внешнего ресурса — клонированием репозитория, установкой навыка, контейнера или модели. Для этого агент должен сначала выполнить поиск и только потом передавать адрес встроенному инструменту.
Платформам вроде GitHub и ClawHub авторы рекомендовали заранее резервировать имена, которые модели часто выдумывают, ограничивать опасное переиспользование популярных названий и проверять пользовательский контент на вредоносные инструкции для ИИ.
В GitHub ответили, что описанный сценарий не является уязвимостью платформы. Согласно позиции компании, создание репозиториев под свободными именами — ожидаемое поведение GitHub, а атака возникает из-за галлюцинаций LLM и действий агентов, которые доверяют содержимому сторонних репозиториев.
Представители Cursor заявили, что программа исключает инъекцию промптом, включая ситуации, когда пользователя просят клонировать недоверенный репозиторий. В OpenAI уточнили, что связанные с содержанием промптов и ответов моделей вопросы не входят в рамки Security и Safety Bug Bounty, если у них нет отдельного проверяемого влияния на сервисы компании.
Anthropic не признала это уязвимостью: компания отнесла сценарий к атакам через захват имен зависимостей, которые исключены из ее bug bounty. В Google ответили, что передали информацию ответственной продуктовой команде для оценки.
Напомним, в ноябре 2025 года специалисты Googleпришли к выводу, что несколько новых семейств вредоносных программ используют большие языковые модели для хакерских атак.
В мае 2026 года авторы отчета Google Threat Intelligence Groupзафиксировалирост популярности ИИ среди киберпреступников. Подразделение впервые обнаружило хакера, который использовал ошибку нулевого дня, разработанную с помощью искусственного интеллекта. Он планировал применить ее для массовой атаки, однако экспертам корпорации удалось предотвратить угрозу.