OpenAI под огнем критики: новая модель Astra и риск потери наблюдаемости

Исследователи в сфере ИИ выразили обеспокоенность по поводу потенциальных проблем с мониторингом новой модели Astra от OpenAI, сообщает The Verge. Согласно материалу The Information, ссылающемуся на анонимный источник, компания применяет в разработке методику «рекуррентной глубины», что вызывает вопросы о прозрачности работы модели.

По словам источника, Astra демонстрирует меньше промежуточных рассуждений по сравнению с другими современными ИИ-моделями. OpenAI пока не прокомментировала использование этой техники. Тем не менее, утверждается, что компания ограничила применение рекуррентной глубины, чтобы специалисты могли продолжать анализировать логику модели.

Техника рекуррентной глубины подразумевает многократную обработку внутренних данных перед переходом к следующему шагу генерации текста. Это может затруднить исследователям и автоматизированным системам выявление нежелательного поведения, так как часть вычислений скрыта в внутренних состояниях модели.

Райан Гринблатт из Redwood Research назвал эту архитектуру серьезной угрозой для безопасности ИИ. Он опасается, что дальнейшее развитие может привести к тому, что модель будет рассуждать преимущественно в скрытых пространствах, делая мониторинг практически невозможным.

Гринблатт также отметил, что при расследовании инцидента с OpenAI и Hugging Face исследователи опирались на цепочки рассуждений агентов. Если бы процессы модели были более скрытыми, выяснить их логику было бы сложнее. Он подчеркнул важность раскрытия OpenAI более детальной информации об архитектуре Astra.

Якуб Пахоцки из OpenAI выразил желание предотвратить проблемы, вызванные искаженным восприятием. Он отметил, что глубина вычислительного графа Astra не более чем в два раза отличается от GPT-4, и компания стремится сохранить мониторинг цепочки рассуждений, несмотря на внешние сложности.