Белые хакеры проникли в OpenAI с помощью ИИ-моделей Claude

Исследовательская группа из Hacktron AI сумела получить доступ к внутреннему репозиторию OpenAI, взломав учетную запись сотрудника. В отчете стартапа указано, что им удалось разработать стратегию атаки благодаря моделям Claude от компании Anthropic.

Команда использовала две уязвимости: первая позволяла удаленно запускать код через загрузку изображений на платформе community.openai.com, работающей на Discourse. Вторая уязвимость была в системе единого входа OpenAI, что позволило хакерам перейти от взломанного форума к ChatGPT и Codex.

Атака была осуществлена 25 июля и заняла менее 72 часов. В тот же день исследователи уведомили OpenAI и Discourse о проблеме, а 13 сентября поделились деталями. Исследование началось с изучения обработки изображений формата HEIC и HEIF на форуме OpenAI.

Hacktron попросила модель Claude Opus 4.8 проверить версию libheif, использующуюся в ImageMagick. Claude выявила отсутствие некоторых критических обновлений безопасности, что позволило использовать специально подготовленный файл для выполнения кода на сервере. 24 июля исследователи с помощью Opus 4.8 создали прототип атаки, который не работал стабильно, но с выпуском Claude Opus 5 модель смогла адаптировать атаку для архитектуры x86-64.

После успешного тестирования на собственной платформе Discourse Cloud, Hacktron использовала уязвимость системы единого входа, чтобы получить доступ к учетным записям ChatGPT и Codex. На аккаунте сотрудника OpenAI они создали безопасный pull request в монорепозитории компании.

Hacktron подчеркнула, что проблема не связана с Discourse. Любой сервис, подключенный к системе единого входа OpenAI, мог бы стать точкой входа. OpenAI устранила уязвимость через 14 часов после уведомления, а Discourse выпустила обновление 27 июля.

OpenAI выплатила исследователям $6500, уточнив, что атака на Discourse не входила в программу bug bounty компании. Hacktron отметила, что ИИ сокращает время и стоимость сложных атак, раньше требовавших месяцев работы. В рамках проекта HEIF Heist команда исследовала уязвимости и в других сервисах, таких как Slack и GitHub Enterprise, потратив на ИИ-модели менее $3000.