OpenAI связала часть кампании по извлечению рассуждений с Moonshot AIOpenAI раскрыла результаты…
OpenAIраскрыларезультаты расследования июльской кампании по извлечению защищенных рассуждений ее ИИ-моделей. Эксперты связали ядро активности с людьми, ассоциированными с китайским разработчиком Moonshot AI, но не утверждает, что все выявленные операторы относились к одному субъекту.
Первые признаки активности OpenAI зафиксировала 1 июля. Пик пришелся на 24–25 июля: специалисты обнаружили около 16 000 запросов с характерным паттерном извлечения от более чем 4000 пользователей.
«Участники кампании не взламывали наше шифрование, не получали несанкционированного доступа к базе данных или прямого доступа к сохраненным перепискам пользователей. Вместо этого они манипулировали взаимодействиями с моделями, добиваясь воспроизведения защищенных рассуждений в доступном для отправителя запроса виде», — говорится в уведомлении.
«Участники кампании не взламывали наше шифрование, не получали несанкционированного доступа к базе данных или прямого доступа к сохраненным перепискам пользователей. Вместо этого они манипулировали взаимодействиями с моделями, добиваясь воспроизведения защищенных рассуждений в доступном для отправителя запроса виде», — говорится в уведомлении.
Более широкий анализ выявил похожую активность в кластере из свыше 15 000 пользователей. К 28 июля OpenAI полностью пресекла выявленную кампанию. По утверждению разработчиков, 16 000 запросов отражают попытки извлечения, которые не обязательно были успешными. Долю случаев, когда операторам действительно удалось получить защищенные рассуждения, фирма не раскрыла.
Как пытались извлечь рассуждения
OpenAI сочла происходящее соответствующим признакам дистилляции — несанкционированного использования ответов или рассуждений одной модели для обучения, воспроизведения или улучшения другой. Один из методов заключался в переносе зашифрованного блока рассуждений из одного разговора в другой. Затем оператор пытался заставить модель воспроизвести его скрытое содержимое.
OpenAI не связала выявленную кампанию с обучением какой-либо конкретной модели Moonshot AI и прямо указала, что не может определить, принадлежали ли все обнаруженные операторы одному субъекту.
«Неясно, действовали ли все участники, которых мы наблюдали в этот период, от имени одной стороны. Однако основную группу связанных действий мы приписываем лицам, связанным с Moonshot AI — разработчикомKimi», — отметили в компании.
«Неясно, действовали ли все участники, которых мы наблюдали в этот период, от имени одной стороны. Однако основную группу связанных действий мы приписываем лицам, связанным с Moonshot AI — разработчикомKimi», — отметили в компании.
После расследования OpenAI заблокировала или ограничила связанные с инцидентом аккаунты, усилила проверки при регистрации и контроль инфраструктуры, а также расширила мониторинг связанных сетей. Помимо этого, закрыт путь для повторного использования уже полученного зашифрованного блока рассуждений в другом разговоре и добавлены проверки стримингового вывода на возможные утечки.
OpenAI также усилила изоляцию защищенных рассуждений между пользователями, рабочими пространствами, организациями и семействами моделей.
«Злонамеренная дистилляция создает риски как для безопасного использования ИИ, так и для национальной безопасности. Извлеченные рассуждения могут использоваться для обучения другой модели без сохранения защитных механизмов, которые применяются к ответам исходной модели, показываемым пользователю. В больших масштабах дистилляция также может ускорить перенос передовых возможностей без сопоставимых вложений в безопасность. Эти риски усиливаются по мере того, как модели приобретают возможности в областях двойного назначения», — отметили в OpenAI.
«Злонамеренная дистилляция создает риски как для безопасного использования ИИ, так и для национальной безопасности. Извлеченные рассуждения могут использоваться для обучения другой модели без сохранения защитных механизмов, которые применяются к ответам исходной модели, показываемым пользователю. В больших масштабах дистилляция также может ускорить перенос передовых возможностей без сопоставимых вложений в безопасность. Эти риски усиливаются по мере того, как модели приобретают возможности в областях двойного назначения», — отметили в OpenAI.
По мнению представителей фирмы, это общая проблема безопасности, требующая координации усилий всей отрасли. Информацию об инциденте разработчик ChatGPT передал другим ИИ-компаниям через Frontier Model Forum и по каналам обмена данными с государственными структурами.
Это не первое обвинение в адрес Moonshot AI в использовании чужих ИИ-моделей для дистилляции. Так, в феврале Anthropicзаявила, что DeepSeek, Moonshot AI и MiniMax проводили масштабные кампании по извлечению возможностей Claude через фиктивные аккаунты.
По данным разработчика, на Moonshot пришлось более 3,4 млн взаимодействий с Claude. Запросы якобы были направлены в том числе на рассуждения, программирование, использование инструментов и управление компьютером.
В июле директор Управления Белого дома по научно-технической политике Майкл Крациосзаявил, что Moonshot AI использовала Claude Fable 5 от Anthropic при разработке Kimi K3. Крациос не представил публичных технических доказательств.
В сентябре китайский регулятор началпроверятьDeepSeek и Moonshot после новых обвинений Anthropic. Власти КНР заинтересовал в том числе риск передачи чувствительных пользовательских данных американским ИИ-сервисам.
Напомним, в октябре журналисты Reuters пришли к выводу, чтоИИ-агентына базе моделей Alibaba, DeepSeek и Moonshot в экспериментахобманывали, скрывали неудачии пытались обходить установленные ограничения — так же, как американские системы.