Grok 4.5 обошел Claude Fable 5 и Opus 4.8 в тесте ИИ-агентов
Илон Маск сравнил Grok 4.5 с Claude Opus по возможностям, добавив, что новая модель работает быстрее и дешевле. Независимый бенчмарк подтвердил слова миллиардера.
В тесте AutomationBench-AA от Artificial Analysis модель Grok 4.5 заняла первое место с результатом 51,4% при стоимости $0,34 за задачу. Она обошла Claude Fable 5 (48,6%) и Claude Opus 4.8 (48,5%).
Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш телеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!
Независимая проверка утверждений Илона Маска
SpaceXAI на этой неделе представила Grok 4.5 на архитектуре V9 с 1,5 трлн параметров. Свою оценку возможностей модели Маск основывал на внутренних тестах команды.
Результаты AutomationBench-AA меняют расклад на рынке. Artificial Analysis проводит эти замеры независимо и держит список заданий в секрете, чтобы результаты оставались объективными.
Тест включает 657 заданий в 40 симулированных приложениях, среди которых Gmail, Slack, Salesforce и HubSpot. Итоговый балл показывает долю задач, которые агент выполнил, не нарушив заложенные в них правила.
Grok 4.5: дешевле, быстрее и чаще остальных соблюдает правила
Grok 4.5 выполняет задачу за $0,34 — заметно дешевле, чем Fable 5 ($1,35) и Opus 4.8 ($1,46). Ближе других подобралась Gemini 3.5 Flash — $0,49 за задачу.
Для выполнения одной задачи Grok 4.5 использует около 8000 выходных токенов — это примерно 25% ресурсов Opus 4.8. Такая эффективность формирует ключевое преимущество по цене. Именно на этом Маск делал акцент при запуске.
«Суммарное потребление токенов — 0,44 млн на задачу — один из самых низких показателей среди всех моделей. Минимальная стоимость достигается за счет такой эффективности и низкой цены токена», — пояснили представители Artificial Analysis в соцсети X.
Кроме того, Grok 4.5 верно выполнил 79,9% отдельных действий, а полностью, от начала до конца, довел 21,9% задач. В финансах — самой трудной категории теста — модель показала лучший результат — 71%. Fable 5 набрал 64%, Opus 4.8 — 62%.
Модель при этом нарушала правила чаще конкурентов: в среднем 0,63 нарушения на задание. У Opus 4.8 — 0,55, у Gemini 3.5 Flash — 0,46.
Для компаний, которые запускают агентов в действующих финансовых системах, этот разрыв критичен: одно нарушение способно обернуться заметными убытками.