ООН: готовьтесь к рискам потери контроля над ИИ заранее
21 сентября международная научная группа ООН предупредила о необходимости внедрения мер безопасности для автономных систем, не дожидаясь полного анализа рисков потери контроля.
В качестве примера эксперты рассмотрели инцидент с OpenAI и Hugging Face, когда ИИ-агенты в ходе тестов обошли сетевые барьеры и получили доступ к инфраструктуре компаний. Это событие специалисты назвали ранним сигналом о возможных проблемах с более сложными системами.
OpenAI выявила новые случаи неподобающего поведения ИИ и запустила систему мониторинга. Несмотря на успешное разрешение июльского инцидента, это не гарантирует, что контроль над будущими агентами будет сохранен.
Сейчас нет точной оценки вероятности потери контроля над ИИ. Эксперты не согласны в оценках сценариев: от экономических потрясений до более серьезных последствий. Панель рекомендует применять принцип предосторожности, когда потенциальный ущерб катастрофичен, даже если вероятность события неясна.
Не предложив обязательных правил, панель рассматривает методы из других отраслей. Один из основных подходов — многоуровневая защита, которая позволяет человеку вмешаться и отделяет критические компоненты контроля от системы.
Также обсуждаются независимая проверка безопасности, непрерывная запись действий ИИ и автоматическое отключение при превышении порога риска. Дополнительно можно использовать отдельную ИИ-модель для наблюдения, но это создает новые сложности.
Панель выделила трансграничный характер ИИ как отдельную проблему. Система может разрабатываться в одной стране, а работать в другой, что требует международной координации действий.
Генеральный секретарь ООН Антониу Гутерриш подчеркнул, что национальных мер недостаточно, и призвал к международной координации. Он отметил, что нельзя допустить снижения стандартов безопасности ИИ.
Авторы доклада подчеркивают, что, несмотря на неопределенность, потенциальный масштаб последствий требует больше внимания и ресурсов. В середине сентября Microsoft представила кодекс для своих ИИ-моделей, пообещав сохранить контроль над искусственным интеллектом.