OpenAI приостановила развитие ИИ для усиления киберзащиты

Компания OpenAI временно приостановила развитие новых ИИ-моделей, включая обучение с подкреплением (RL) для последних систем, на две недели. Это решение связано с необходимостью усиления кибербезопасности и контроля внутренних исследований. Приостановка позволила компании провести углубленные проверки и увеличить мониторинг.

Ситуация обострилась после инцидента с Hugging Face, а также предварительной оценки Astra, в ходе которой OpenAI не смогла исключить возможность достижения критического уровня кибервозможностей модели. Это подтолкнуло компанию к пересмотру методов выравнивания поведения моделей и усилению технических ограничений.

OpenAI провела перестройку исследовательской инфраструктуры, чтобы изолировать выполнение недоверенного кода и ограничить сетевой доступ для задач с высоким риском. Были убраны уязвимые сервисы, снижены постоянные привилегии и усилены границы доверия. Новый режим безопасности стал обязательным для работы с Astra и специализированными кибермоделями.

Компания также ввела многоуровневый мониторинг действий моделей. Специальные классификаторы анализируют активность, передавая потенциально опасные сигналы для дальнейшего анализа. Если возникает подозрение на нарушение безопасности, система формирует предупреждение, требующее срочного реагирования. Такой мониторинг обязателен для всех RL-тренировок.

Вместе с тем OpenAI улучшает методы управления поведением мощных моделей. Компания стремится к снижению риска несанкционированного доступа, обмана и неправильного выполнения задач. Пересмотр Preparedness Framework должен учесть возможности будущих моделей и объединить требования к обучению и развертыванию.

Президент OpenAI Грег Брокман признал, что компания недооценила потенциал своих моделей после инцидента с Hugging Face. Он отметил, что прогресс в области ИИ может как увеличить возможности злоумышленников, так и предоставить защитникам новые инструменты. Брокман призвал компании начинать интеграцию ИИ в свои программы кибербезопасности, сохраняя контроль за людьми.