Cloudflare запретит «смешанные» ИИ-краулерыC 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на страницах все смешанные веб-краулеры на основе искусственного интеллекта.

C 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на страницах все смешанные веб-краулеры на основе искусственного интеллекта. Cloudflare’s new Attribution Business Insights dashboard helps website owners understand crawler behavior, appetite, and potential value.https://t.co/1F9HO3Fiv7— Cloudflare (@Cloudflare)July 1, 2026 Cloudflare’s new Attribution Business Insights dashboard helps website owners understand crawler behavior, appetite, and potential value.https://t.co/1F9HO3Fiv7 Речь о краулерах, которые используют один и тот же тип ботов для поиска, обучения моделей иИИ-агентов. В Cloudflare требуют разделять решения на поисковые обучающие и агентные. Представители компании объяснили ужесточение тем, что издатели и владельцы сайтов хотят сохранять видимость в поиске и ИИ-сервисах, но не готовы бесплатно предоставлять контент. «Интернет рискует перейти к экосистеме “нулевого клика”, где чат-боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники. Мы уже наблюдали заметный сдвиг от пространства, ориентированного исключительно наSEO, к мируAEO, а теперь уже и кGEO», — говорится в заявлении. «Интернет рискует перейти к экосистеме “нулевого клика”, где чат-боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники. Мы уже наблюдали заметный сдвиг от пространства, ориентированного исключительно наSEO, к мируAEO, а теперь уже и кGEO», — говорится в заявлении. Принятая мера также должна снизить нагрузки на инфраструктуру веб-страниц. По данным Cloudflare, более 50% трафика от ИИ-краулеров приходится на повторное сканирование страниц, которое редко приносит пользу. Изменение затронет новых клиентов провайдера, сайты действующих пользователей и всех клиентов бесплатного тарифа. Владельцы хостингов смогут отключить опцию блокировки вручную. Параллельно Cloudflare расширяеткоммерческую схему для издателей. Новая система Pay Per Use предполагает оплату не только за доступ к материалу, но и в случаях, когда контент имеет ценность для ИИ-сервиса. На первом этапе компания работает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов. Напомним, 18 ноября 2025 года Cloudflareстолкнулсяс масштабными техническими неполадками, которые вызвали нарушения в работе множества сайтов и приложений, включая Web3-сервисы.