Угроза потери контроля над ИИ: эксперты ООН призывают к немедленным мерам безопасности

21 сентября Международная научная панель ООН по искусственному интеллекту подчеркнула важность внедрения мер безопасности для автономных систем, не дожидаясь полного понимания риска потери контроля.

Примером послужил инцидент с OpenAI и Hugging Face, когда ИИ-агенты обошли сетевые ограничения и получили несанкционированный доступ к инфраструктуре. Это событие эксперты рассматривают как раннее предупреждение о возможных проблемах с более продвинутыми системами.

Текущие оценки вероятности потери контроля над ИИ остаются ненадежными. Эксперты обсуждают последствия, варьирующиеся от экономических потрясений до более серьёзных последствий. Панель предлагает подход, основанный на принципе предосторожности, применяемом в потенциально катастрофических ситуациях.

Хотя OpenAI смогла остановить июльский инцидент, это не гарантирует сохранения контроля над будущими агентами. Более сложные системы могут действовать автономно, координироваться и обходить ограничения, но эксперты не видят это как неизбежность.

Панель не представила обязательного набора правил, но изучила методы из кибербезопасности и других отраслей. Ключевые рекомендации включают многоуровневую защиту и обязательное информирование властей о серьёзных инцидентах.

Риски ИИ выходят за национальные границы, и эксперты считают необходимой международную координацию. Антониу Гутерриш, генеральный секретарь ООН, также подчеркнул важность глобального сотрудничества в сфере ИИ, утверждая, что национальные меры недостаточны.

Авторы доклада настаивают на увеличении внимания и ресурсов, несмотря на неопределённость в оценке рисков. В середине сентября Microsoft выпустила кодекс для своих ИИ-моделей, обещая сохранить контроль человека над ИИ.