Man-in-the-Prompt: как расширения браузера вмешиваются в диалог с ИИ и что с этим делать

Запрос к нейросети можно изменить еще в браузере, до отправки на сервер, и пользователь этого не заметит. Угроза называется Man-in-the-Prompt.

Роль посредника играет расширение, у которого есть доступ к коду страницы ИИ-сервиса. Рассказываем, что о нем нужно знать.

Хотите еще эксклюзивных новостей и аналитики? Подписывайтесь на наштелеграм-канал, обсуждайте новости и делитесь мнениями о последних событиях рынка в чате!

Расширения встраиваются в сайты через контент-скрипты. Это фрагменты кода, которые браузер запускает на странице и которым доступна ее структура (DOM): поля ввода, кнопки, загруженный текст. Так работают переводчики, проверка орфографии и блокировщики рекламы. Для этого при установке расширение запрашивает права на доступ к сайтам, часто сразу ко всем.

С такими правами расширение видит текст в поле ввода чат-бота и ответы модели на странице. Сайт при этом настоящий, соединение защищено, а сам сервис никто не взламывал. Основные сценарии атаки:

Для модели скрытая инструкция выглядит как часть сообщения пользователя, поэтому нейросеть ее выполняет. Опасным может стать и проверенное расширение: если оно сменит владельца, обновление с вредоносным кодом установится автоматически.

Начать стоит с ревизии расширений на странице chrome://extensions или ее аналоге в другом браузере:

проверьте права оставшихся: если дополнению для простой задачи нужен доступ к данным на всех сайтах, это повод насторожиться;

ограничьте доступ к сайтам в настройках расширения.

В Chrome и браузерах на его основе доступны три режима:

Для работы с нейросетями удобно создать отдельный профиль браузера без расширений или пользоваться официальными десктопными и мобильными приложениями ИИ-сервисов, куда браузерные дополнения не встраиваются.

Кроме того, стоит соблюдать базовые правила при работе с ИИ:

не вставляйте в запросы пароли, ключи доступа, персональные данные и коммерческие документы;

проверяйте ссылки перед переходом, код перед запуском, инструкции перед применением;

выдавайте ИИ-агенту минимум прав и включите ручное подтверждение важных действий.

The postMan-in-the-Prompt: как расширения браузера вмешиваются в диалог с ИИ и что с этим делатьappeared first onBeInCrypto.