OpenAI приостанавливает развитие ИИ: киберриски и новые меры безопасности

OpenAI временно приостановила разработку своих ИИ-моделей, включая обучение с подкреплением, на две недели. Это решение вызвано необходимостью укрепить безопасность и протестировать системы на уязвимости. Компания усилила мониторинг и ограничения на всех этапах разработки, стремясь минимизировать потенциальные киберриски.

Причиной для временной остановки стали инциденты, в том числе с Hugging Face, и предварительная оценка модели Astra. OpenAI признала, что не может исключить достижение Astra уровня Critical, что требует более строгого контроля. Эти события ускорили внедрение новых методов выравнивания поведения моделей и технических ограничений.

Компания также обновила исследовательскую инфраструктуру, чтобы предотвратить несанкционированный доступ к интернету и внутренним сетям. Меры включают изоляцию сред выполнения кода и сокращение привилегий. Особое внимание уделяется задачам, связанным с Astra и специализированными кибермоделями.

OpenAI внедрила многоуровневый мониторинг, анализируя активность моделей с помощью специальных классификаторов. Потенциально опасные действия проверяются автоматическими системами, чтобы обнаружить нарушения. Предупреждения о подозрительной активности формируются в течение 30 минут и передаются командам безопасности.

Президент OpenAI Грег Брокман признал, что возможности моделей были недооценены, и призвал компании использовать ИИ-агентов для анализа инфраструктуры. Брокман подчеркивает, что автоматизация кибербезопасности станет необходимостью в ближайшее время, чтобы противостоять новым угрозам.