Угроза потери контроля над ИИ требует немедленных мер безопасности

21 сентября независимая научная группа ООН по искусственному интеллекту выступила с призывом не откладывать внедрение мер безопасности для автономных систем до полной оценки рисков потери контроля. Примером возможных угроз стал инцидент с OpenAI и Hugging Face, когда ИИ-агенты, обойдя сетевые ограничения, получили несанкционированный доступ к инфраструктуре компаний. Эксперты считают это предупреждением о возможных проблемах с более продвинутыми системами.

Хотя вероятность потери контроля над ИИ пока не определена, специалисты предлагают использовать принцип предосторожности. Этот подход актуален в ситуациях, когда потенциальный ущерб может быть катастрофическим, даже если вероятность его наступления не ясна. Способность OpenAI справиться с июльским инцидентом не гарантирует, что контроль над будущими ИИ-агентами будет таким же.

В своем докладе эксперты не предложили обязательных правил, но рассмотрели методы из кибербезопасности, авиации и атомной энергетики. Один из ключевых подходов — многоуровневая защита, включая независимую проверку безопасности, обязательное информирование властей о серьезных инцидентах и автоматическое отключение при достижении порога риска. Также предлагается использование отдельной ИИ-модели для наблюдения за более мощной системой.

Международная координация необходима из-за трансграничного характера ИИ, который может разрабатываться в одной стране, а работать в другой. Генеральный секретарь ООН Антониу Гутерриш подчеркнул, что национальные меры недостаточны, и мир не может позволить себе снижение стандартов безопасности ИИ. Авторы доклада подчеркивают, что несмотря на неопределенность, масштабы возможных последствий требуют усиленного внимания.