Anthropic и Accenture инвестируют $2 млрд в независимую оценку ИИ

Компания Anthropic совместно с Accenture планируют вложить не менее $2 млрд в течение пяти лет в независимую оценку передовых ИИ-моделей. Это партнерство стало частью недавнего обязательства Anthropic по внедрению экспертов-оценщиков в свою работу. Ожидается, что каждая из сторон инвестирует минимум $1 млрд для развития этой сферы в ближайшие годы.

Проект возглавит подразделение Faculty, специализирующееся на ИИ в Accenture. Основные задачи будут включать в себя оценку моделей, проведение редтиминга, проверки выравнивания и тестирование защитных механизмов. Эта инициатива связана с концепцией «встроенных оценщиков», о которой говорил генеральный директор Anthropic Дарио Амодеи.

В сентябре Амодеи призвал к замедлению развития передовых ИИ из-за растущих рисков безопасности, ссылаясь на инцидент с OpenAI и Hugging Face. Он предложил три пути снижения рисков: международные соглашения, общие правила для индустрии и независимые проверки внутри лабораторий.

Партнерство с Accenture не является эксклюзивным. Anthropic планирует сотрудничать с другими оценщиками, а Accenture будет работать с внешними ИИ-разработчиками в аналогичном формате. Также рассматривается возможность пилотного проекта с некоммерческой организацией METR, финансируемого из ее собственных средств.

В долгосрочной перспективе Anthropic надеется на финансирование независимых проверок из государственных или пулированных источников, как предусмотрено инициативой Advanced AI Framework. Пока такие механизмы отсутствуют, компания напрямую оплачивает услуги Accenture, что может вызывать вопросы о независимости оценки. В то же время, CEO Nvidia Дженсен Хуанг высказался против замедления регуляции ИИ, назвав безопасность технологии «инженерной проблемой».