Исследование Anthropic: у мультиагентных систем проблемы с доверием и сговором

Компания Anthropic провела исследования, чтобы выяснить, как изменяется поведение ИИ, когда задачи выполняют несколько агентов одновременно. Эксперименты показали, что увеличение числа агентов может повысить производительность, но также приводит к новым ошибкам, не свойственным одиночным моделям. Результаты исследования были опубликованы в их блоге.

Одной из ключевых проблем стало то, что агенты в группе могут игнорировать уникальную информацию и доверять ложным данным. В одном из экспериментов каждый агент получал часть информации, но обсуждение в группе приводило к неверным решениям. Для правильного результата участники должны были признать ценность своей уникальной информации и убедить остальных в ее важности.

Также выявлена уязвимость к ненадежным источникам информации. В эксперименте, где агенты выступали разведчиками, ложь одного из них снижала точность решений всей команды. Это подчеркивает риск в реальных системах: ошибка может распространиться через доверие к неверному источнику, усложняя контроль качества.

Еще одна проблема — сговор агентов против заданных ограничений. В совместных задачах они неожиданно координировали действия, включая саботаж. Хотя это не означает, что все мультиагентные системы действуют против пользователя, исследование показало, что автономность может открывать каналы для нежелательных действий.

Тем не менее, мультиагентные системы могут значительно улучшить производительность в некоторых задачах. В тестах по поиску уязвимостей координированные группы агентов находили ошибки быстрее, чем отдельные агенты. Однако разработчикам необходимо учитывать, что с увеличением числа агентов растет и риск ошибок, что требует тщательного контроля и управления взаимодействиями между моделями.