Coinbase сократила расходы на ИИ в 2 раза, хотя потребление выросло

<p><strong>Гендиректор Coinbase Брайан Армстронг рассказал, как удерживать расходы на ИИ на одном уровне при экспоненциальном росте потребления токенов. По его словам, это достигается не за счет ограничений и оповещений о тратах, а через более удачные настройки по умолчанию, маршрутизацию запросов и кэширование.</strong></p>

<p>Армстронг отметил, что инженеры могут выбирать любую модель, но именно настройки по умолчанию имеют значение. Coinbase экспериментирует с тем, чтобы по умолчанию использовать модели с открытыми весами вроде GLM 5.2 и Kimi 2.7 через внутренний шлюз. По его словам, 91% сотрудников никогда не упирались в лимиты, поэтому компания перешла к более дешевым настройкам вместо снижения лимитов.</p>

<section class="c-bic-highlighted-text mb-8 md:mb-12 " id="block_6a410e09a1b81">
<div class="flex items-center gap-5 px-5 py-4 rounded-xl bg-grey-50 text-dark-grey-700">
<svg class="min-w-5 h-5 text-blue-600" fill="none" height="28" viewBox="0 0 28 28" width="28" xmlns="http://www.w3.org/2000/svg"><path d="m11.195 26.6 1.4-9.8h-4.9c-.812 0-.798-.448-.532-.924.266-.476.07-.112.098-.168L16.795 1.4l-1.4 9.8h4.9c.686 0 .784.462.658.714l-.098.21-9.66 14.476Z" fill="currentColor"></path></svg>
<div class="bic-block-highlighted-paragraph-content p3 p3--ns [&_p:last-child]:!mb-0 [&_p]:!leading-6 [&_p]:!font-body [&_p]:!text-4 [&_a]:!text-blue-600">
<p><strong><em>Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наш</em></strong><a href="https://t.me/beincrypto_trading"><strong><em> телеграм-канал</em></strong></a><strong><em>, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!</em></strong></p>

</div>
</div>
</section>

<h2 class="bic-gutenberg-heading wp-heading wp-block-heading" id="h-маршрутизация-кэш-и-экономия-контекста">Маршрутизация, кэш и экономия контекста</h2>

<p><a href="https://x.com/brian_armstrong/status/2070670644577280109" rel="noreferrer noopener nofollow" target="_blank">По словам Армстронга</a>, в собственных системах Coinbase запросы предварительно обрабатываются и направляются к наиболее подходящей модели с учетом попаданий в кэш и стоимости. К примеру, передовая модель нужна для планирования, но избыточна для исполнения. По его мнению, выбор модели в итоге должен автоматизировать сам ИИ, а не человек.</p>

<figure class="wp-block-image size-full"><img alt="График расходов Coinbase на ИИ и потребления токенов" class="wp-image-383324" src="https://assets.beincrypto.com/img/zUD1ZZ3ziXT7IYiqDjBXqjtPBno=/smart/6c8275828a864ae18726e46632290a71" /><figcaption class="wp-element-caption">Расходы Coinbase на ИИ (столбцы) и потребление токенов (линия) разошлись в динамике. Источник: <a href="https://x.com/brian_armstrong/status/2070670644577280109" rel="noreferrer noopener nofollow" target="_blank">Брайан Армстронг</a></figcaption></figure>

<p>Отдельно Армстронг выделил роль кэширования. По его словам, промахи мимо сохраненных данных — самый простой способ взвинтить расходы, поэтому все запросы в Coinbase настроены на повторное использование уже обработанной информации. В сервисе LibreChat доля таких попаданий выросла с 5% до 60% после правильной настройки.</p>

<p>Важным он назвал и экономию контекста. Армстронг советует начинать новые сессии при смене задач, узко ограничивать контекст файлов и отключать неиспользуемые инструменты. По его словам, цель не в том, чтобы тратить меньше токенов, а в том, чтобы меньше растрачивать их впустую. Такой подход позволил Coinbase сократить расходы на ИИ почти вдвое при продолжающемся росте потребления токенов.</p>

<h2 class="bic-gutenberg-heading wp-heading wp-block-heading" id="h-стратегия-штанги-от-дойчера">Стратегия «штанги» от Дойчера</h2>

<p>Схожий подход <a href="https://x.com/milesdeutscher/status/2071142558655566009" rel="noreferrer noopener nofollow" target="_blank">описал аналитик Майлз Дойчер</a>, назвав происходящее эрой «инженерии токенов». По его словам, это стремление к максимальной эффективности их использования.</p>

<p>Дойчер предложил стратегию «штанги» для сокращения расходов на ИИ на 50% и более. Первые 10% работы и планирование проекта он советует доверять самым умным моделям вроде Opus или GPT, поскольку это важнейший этап.</p>

<p>Основные 80% рутинной работы, по его словам, стоит выполнять более дешевой моделью с открытым исходным кодом. Финальные 10% и проверку результата он рекомендует снова поручать модели высокого уровня. По словам Дойчера, он применяет эту схему уже несколько месяцев и считает ее лучшим способом снизить чрезмерные траты на ИИ.</p>