Anthropic и Accenture направят $2 млрд на независимую оценку ИИ

Компания Anthropic заключила партнерское соглашение с консалтинговой фирмой Accenture для инвестирования в независимую проверку передовых ИИ-моделей. Этот проект предусматривает вложение не менее $2 млрд в течение пяти лет, чтобы укрепить возможности в данной области.

Руководителем инициативы выступит подразделение Accenture, специализирующееся на ИИ — Faculty. Основное внимание будет уделено оценке моделей, проведению редтиминга, проверке выравнивания и тестированию защитных механизмов.

Идея встроенных оценщиков, озвученная Дарио Амодеи, CEO Anthropic, предполагает, что такие команды смогут работать внутри компаний-разработчиков ИИ, имея доступ на уровне сотрудников. Это позволит контролировать обучение и развертывание моделей, взаимодействовать с персоналом и выявлять уязвимости.

В сентябре Амодеи выступил с предложением замедлить развитие передовых ИИ-моделей, ссылаясь на риски безопасности. Он предложил три направления для снижения рисков: международные договоренности, общие правила индустрии и независимые проверки в лабораториях.

Anthropic намерена также сотрудничать с другими оценщиками и продолжает переговоры с некоммерческой организацией METR о пилотной программе встроенной оценки. Компания планирует финансировать независимые проверки из пулированных или государственных источников, но пока оплачивает работу Accenture самостоятельно, что может вызвать вопросы о независимости оценщика.