OpenAI приостанавливает разработку ИИ из-за киберрисков и укрепляет безопасность

OpenAI приняла решение временно сократить темпы разработки и обучения своих новейших ИИ-моделей из-за увеличения киберрисков. В течение двух недель компания приостановила процессы обучения с подкреплением для систем, планируемых к развертыванию, чтобы усилить защиту и провести тщательные проверки. Эти меры стали ответом на инциденты с Hugging Face и результаты предварительной оценки Astra, показавшие, что модель может достичь критического уровня кибервозможностей.

После вышеупомянутого инцидента, OpenAI временно остановила работу над моделями в исследовательских кластерах, которые могли бы выполнять код или иметь сетевой доступ. Впоследствии компания ввела более строгие ограничения и начала индивидуально проверять исследовательские задачи. Несмотря на временную приостановку, трейдеры Polymarket оценивают вероятность релиза Astra до конца сентября в 72%.

OpenAI также пересмотрела свою исследовательскую инфраструктуру, усилив изоляцию сред выполнения кода и ограничения сетевого доступа для задач высокого риска. Наблюдение за действиями моделей теперь ведется в несколько этапов, с использованием автоматических систем, анализирующих активность и выявляющих признаки потенциальных угроз. Это позволяет оперативно реагировать на нарушения безопасности.

Вместе с тем OpenAI повышает эффективность методов выравнивания поведения моделей, чтобы предотвратить небезопасные действия и обман. Компания улучшает механизмы, подавляющие опасное поведение, и обучает системы более честно описывать свои возможности и ограничения. Глава компании, Грег Брокман, признал необходимость более активного использования ИИ для защиты инфраструктуры, подчеркивая важность автоматизации кибербезопасности в ближайшем будущем.