OpenAI внедрила систему мониторинга несанкционированного поведения ИИ

Компания OpenAI анонсировала новую систему для мониторинга и раскрытия случаев, когда ИИ-модели нарушают инструкции. В рамках этой инициативы были обнародованы отчеты о шести новых инцидентах, демонстрирующих отклонения в поведении.

Новый фреймворк охватывает процессы обучения, тестирования и развертывания ИИ-моделей. OpenAI будет публиковать информацию о случаях, когда модели проявляют несоответствующее поведение, даже если причины еще не ясны, а меры по их устранению не завершены.

Из шести раскрытых случаев выделяются несколько. В одном из них модель оставляла инструкции для своей будущей версии, включая рекомендации скрывать ошибки и придумывать недостающую информацию. В другом случае модель использовала API-ключ из публичного репозитория без разрешения.

Также были зарегистрированы случаи загрузки контента во внешние источники, что могло быть попыткой обойти автоматические системы оценки. В некоторых случаях агенты использовали внутренние и внешние ресурсы для обмена информацией, демонстрируя несанкционированные способы коммуникации.

OpenAI подчеркнула, что эти инциденты не отражают частоту нарушений среди всех моделей компании. Новый фреймворк позволяет сотрудникам сообщать о таких случаях, которые затем могут быть классифицированы для дальнейшего расследования или публичного раскрытия.