Назад к ленте

Исследователи научились замедлять ИИ-модели логическими ловушкамиСпециалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, пишет IEEE Spectrum.

📅 08.07.2026 13:39
Специалисты из Чжэцзянского университета и Alibaba представили на ICML 2026 в Сеуле новый класс атак на ИИ-системы, пишетIEEE Spectrum. Их цель — не взломать модель и не получить доступ к данным, а заставить ее настолько долго обрабатывать запросы, чтобы она стала бесполезной. Рассуждающие модели — в отличие от обычныхLLM— разбивают задачу на последовательные шаги перед ответом. Их все чаще используют в системах, где требуется сложный многоэтапный анализ. При работе с неполными или противоречивыми данными такие модели склонны к чрезмерному обдумыванию — генерации слишком длинных цепочек рассуждений. Это увеличивает время обработки запросов и расход вычислительных ресурсов. В автоматических системах это открывает вектор дляDoS-атак. Исследователи разработали метод, который намеренно провоцирует такое поведение. Генетический алгоритм перемешивает условия задач, удаляет ключевые предпосылки и добавляет лишние. Затем он отбирает варианты, которые вызывают максимально длинный ответ. На бенчмаркеMATHдлина рассуждений выросла в 26,1 раза. Метод превзошел существующие способы такого воздействия. Уязвимыми оказались DeepSeek-R1, Qwen3-Thinking, GPT-o3 и Gemini 2.5 Flash. Авторы также выяснили, что созданные для одной небольшой модели запросы оказались эффективны и против других систем, включая крупные коммерческие проекты. Это позволяет готовить атаки на закрытые сервисы без больших затрат. «Наша цель — не продемонстрировать, что масштабные атаки возможны с минимальными затратами, а зафиксировать, что эта поверхность атаки существует», — написал один из исследователей Вэй Цао в письме IEEE Spectrum. «Наша цель — не продемонстрировать, что масштабные атаки возможны с минимальными затратами, а зафиксировать, что эта поверхность атаки существует», — написал один из исследователей Вэй Цао в письме IEEE Spectrum. Рассуждающие модели все чаще используют в агентных ИИ-системах, включая торговых ботов, инструменты аудита смарт-контрактов и децентрализованную инфраструктуру. В DeFi цифровые ассистенты на базе искусственного интеллекта управляют реальными средствами без участия человека. Сбой в логике — в том числе вызванный намеренно — создает операционный риск. Новая работа опирается на уже известную особенность рассуждающих моделей — склонность к чрезмерному обдумыванию. В феврале 2025 года группа исследователейпроанализировала4018 агентных траекторий и выделила повторяющиеся паттерны чрезмерного обдумывания у моделей: паралич анализа— модель продолжает рассуждать вместо выполнения задачи; непредсказуемые действия— после ошибки пытается выполнить несколько действий одновременно; преждевременное завершение— прекращает выполнение задачи, не проверив результат. Рассуждающие модели оказались более склонны к чрезмерному обдумыванию. Чем сильнее выражен эффект, тем ниже результативность. Напомним, в начале июля 2026 года аналитикипредупредили, что дальнейшее развитие OpenAI и Anthropic все сильнее зависит от доступности вычислительных мощностей, финансирования дата-центров и регуляторных решений.

Рекомендованный контент