OpenAI приостановила разработку ИИ из-за киберугроз

Компания OpenAI временно затормозила развитие новых ИИ-моделей, приостановив обучение с подкреплением (RL) на две недели. Это решение принято из-за увеличивающихся рисков при тестировании и разработке новых моделей. В течение этого времени компания усилила меры безопасности и провела дополнительные проверки.

Инцидент с Hugging Face и предварительная оценка модели Astra стали ключевыми факторами, повлиявшими на решение OpenAI. Компания отметила, что быстрый прогресс в исследованиях требует немедленного усиления мониторинга и ограничений на всех этапах разработки. OpenAI также приостановила использование продвинутых моделей для задач с потенциальным доступом в интернет.

После инцидента OpenAI ввела более жесткие требования к работе с ИИ-моделями. Усилена изоляция сред для выполнения кода, а также ограничения сетевого доступа. Инфраструктура перестроена для предотвращения несанкционированного доступа к интернету и внутренним сетям.

В рамках новых мер контроля введены специальные классификаторы для отслеживания активности моделей. Система формирует предупреждения о подозрительной активности в течение 30 минут и при необходимости приостанавливает соответствующую деятельность. Мониторинг обязателен для всех RL-тренировок и инференса моделей уровня Sol и выше.

Президент OpenAI Грег Брокман признал, что инцидент с Hugging Face показал недооценку кибервозможностей моделей. Он отметил, что прогресс в этой области может дать преимущества как злоумышленникам, так и защитникам. Брокман рекомендует компаниям использовать ИИ для анализа безопасности, сохраняя контроль за людьми.