Anthropic и Accenture выделят $2 млрд на оценку ИИ: новый взгляд на безопасность

Компания Anthropic объявила о стратегическом сотрудничестве с Accenture, в рамках которого они планируют совместно инвестировать более $2 млрд в независимую оценку современных ИИ-моделей на протяжении пяти лет. Это партнерство направлено на развитие системы "встроенных оценщиков", которые будут действовать внутри компании Anthropic.

Основную роль в проекте будет играть подразделение Faculty компании Accenture, специализирующееся на ИИ. Они займутся всесторонней оценкой моделей, включая анализ рисков, проверку выравнивания и тестирование защитных механизмов. Эта инициатива была вдохновлена идеей Дарио Амодеи, CEO Anthropic, о необходимости интеграции оценщиков в процесс разработки ИИ.

В сентябре Дарио Амодеи выступил за замедление развития передовых ИИ-технологий из-за угроз безопасности. Он предложил три ключевых направления для уменьшения рисков: международные соглашения, единые отраслевые стандарты и независимые внутренние проверки. В партнерстве с Accenture Anthropic намерена продолжить работу с другими оценщиками и ведет переговоры с METR о пилотном проекте независимой оценки.

Anthropic надеется, что в будущем финансирование независимых проверок будет осуществляться из пулированных или государственных источников. Однако пока компания самостоятельно оплачивает услуги Accenture, осознавая возможные вопросы об их независимости. Напомним, что Дженсен Хуанг из Nvidia ранее высказался против замедления ИИ, считая это инженерной задачей.