Риски снижения прозрачности модели Astra от OpenAI вызывают тревогу

Эксперты в области ИИ выразили обеспокоенность возможными трудностями в мониторинге новой модели OpenAI под названием Astra, сообщает The Verge. В статье The Information говорится, что в Astra используется метод "рекуррентная глубина", что подтвердил анонимный источник. OpenAI пока не предоставила комментариев относительно этой информации.

Согласно источнику, модель Astra предоставляет меньше данных о своем процессе рассуждений по сравнению с другими передовыми ИИ-моделями. Однако OpenAI якобы ограничила использование рекуррентной глубины, чтобы сохранить возможность отслеживания работы модели. Этот метод предполагает переработку внутренних данных для формирования следующего шага, что может осложнить мониторинг.

Райан Гринблатт, главный научный сотрудник Redwood Research, подчеркнул, что рекуррентная глубина может скрывать этапы рассуждений внутри модели, снижая доступность информации для мониторинга. Он считает, что дальнейшее развитие такого подхода может негативно сказаться на безопасности ИИ, особенно если модель будет стремиться избежать обнаружения.

Гринблатт также отметил, что при расследовании инцидента с OpenAI и Hugging Face исследователи полагались на анализ цепочек рассуждений. Если бы значительная часть этих процессов происходила в скрытых состояниях, восстановить полную картину было бы сложнее. Он настаивает на важности раскрытия OpenAI информации об архитектуре Astra и независимой ее оценки.

Якуб Пахоцки, главный научный сотрудник OpenAI, отметил, что глубина вычислительного графа Astra не сильно отличается от GPT-4. Он утверждает, что OpenAI стремится сохранить мониторинг цепочек рассуждений, несмотря на внешние факторы, влияющие на его эффективность. Пахоцки подчеркнул, что компании важно предотвратить потерю прозрачности из-за недостоверных сообщений.