Исследователи научились замедлять ИИ-модели логическими ловушкамиСпециалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, пишет IEEE Spectrum.
📅
08.07.2026 13:39
Специалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, пишетIEEE Spectrum. Их цель — не взломать модель и не получить доступ к данным, а заставить ее настолько долго обрабатывать запросы, чтобы она стала бесполезной.
Рассуждающие модели — в отличие от обычныхLLM— разбивают задачу на последовательные шаги перед ответом. Их все чаще используют в системах, где требуется сложный многоэтапный анализ.
При работе с неполными или противоречивыми данными такие модели склонны к чрезмерному обдумыванию — генерации слишком длинных цепочек рассуждений. Это увеличивает время обработки запросов и расход вычислительных ресурсов. В автоматических системах это открывает вектор дляDoS-атак.
Исследователи разработали метод, который намеренно провоцирует такое поведение. Генетический алгоритм перемешивает условия задач, удаляет ключевые предпосылки и добавляет лишние. Затем он отбирает варианты, которые вызывают максимально длинный ответ.
На бенчмаркеMATHдлина рассуждений выросла в 26,1 раза. Метод превзошел существующие способы такого воздействия. Уязвимыми оказались DeepSeek-R1, Qwen3-Thinking, GPT-o3 и Gemini 2.5 Flash.
Авторы также выяснили, что созданные для одной небольшой модели запросы оказались эффективны и против других систем, включая крупные коммерческие проекты. Это позволяет готовить атаки на закрытые сервисы без больших затрат.
«Наша цель — не продемонстрировать, что масштабные атаки возможны с минимальными затратами, а зафиксировать, что эта поверхность атаки существует», — написал один из исследователей Вэй Цао в письме IEEE Spectrum.
«Наша цель — не продемонстрировать, что масштабные атаки возможны с минимальными затратами, а зафиксировать, что эта поверхность атаки существует», — написал один из исследователей Вэй Цао в письме IEEE Spectrum.
Рассуждающие модели все чаще используют в агентных ИИ-системах, включая торговых ботов, инструменты аудита смарт-контрактов и децентрализованную инфраструктуру.
В DeFi цифровые ассистенты на базе искусственного интеллекта управляют реальными средствами без участия человека. Сбой в логике — в том числе вызванный намеренно — создает операционный риск.
Новая работа опирается на уже известную особенность рассуждающих моделей — склонность к чрезмерному обдумыванию. В феврале 2025 года группа исследователейпроанализировала4018 агентных траекторий и выделила повторяющиеся паттерны чрезмерного обдумывания у моделей:
паралич анализа— модель продолжает рассуждать вместо выполнения задачи;
непредсказуемые действия— после ошибки пытается выполнить несколько действий одновременно;
преждевременное завершение— прекращает выполнение задачи, не проверив результат.
Рассуждающие модели оказались более склонны к чрезмерному обдумыванию. Чем сильнее выражен эффект, тем ниже результативность.
Напомним, в начале июля 2026 года аналитикипредупредили, что дальнейшее развитие OpenAI и Anthropic все сильнее зависит от доступности вычислительных мощностей, финансирования дата-центров и регуляторных решений.