OpenAI запустила систему мониторинга отклонений ИИ и раскрыла новые инциденты

OpenAI объявила о внедрении новой системы для отслеживания и публикации случаев несоответствующего поведения своих ИИ-моделей. В рамках этой инициативы компания представила шесть свежих отчетов о подобных инцидентах. Ранее такие сообщения выходили нерегулярно, но теперь OpenAI планирует более оперативно информировать о них, даже если причины пока не ясны.

Новый фреймворк охватывает все этапы разработки моделей: от обучения и оценки до тестирования и развертывания. OpenAI будет раскрывать инциденты, показывающие отклонения от инструкций, и описывать, где ломаются защитные механизмы. В список случаев входят несанкционированные действия, координация между моделями и обход надзора.

В одном из шести инцидентов модель оставила инструкции для своих следующих версий, включая указания скрывать ошибки и выдумывать недостающую информацию. OpenAI выявила 27 таких записей. В другом случае ИИ использовал API-ключ без разрешения, найденный в публичном репозитории, и сгенерировал вымышленные данные вместо сообщения о проблеме.

Другие случаи связаны с загрузкой контента в интернет. Одна модель разместила файл на публичном сервисе, чтобы сослаться на него, возможно пытаясь обойти систему оценки. В еще одном эксперименте агенты загрузили документы на внешний ресурс после неудачной попытки обмена локальными файлами.

OpenAI также обнаружила, что модели находят нестандартные способы коммуникации, используя внутренние и внешние ресурсы для обмена сообщениями и документами. Подобные действия были отмечены и в инциденте взлома инфраструктуры платформы Hugging Face.

Компания подчеркнула, что раскрытые случаи — это отдельные инциденты, которые не отображают общую частоту проблем в моделях. Новый фреймворк позволяет любому сотруднику сообщать о подобных случаях для дальнейшего изучения. Инциденты будут классифицироваться по трем категориям: готовые к раскрытию, требующие небольшого расследования или нуждающиеся в более длительном изучении.