ИИ-модели научились обмениваться данными без слов

Стартап Mostik разработал инновационный метод, позволяющий ИИ-моделям обмениваться внутренними состояниями без создания промежуточного текста. До сих пор нейросети использовали текст в качестве посредника. Однако новый подход предполагает применение адаптируемого модуля, который преобразует данные одной модели в понятный для другой формат.

Примечательно, что параметры самих моделей остаются без изменений. Разработчики подсчитали, что для создания одного текстового токена LLM формирует более сотни скрытых векторов, что составляет около 2 МБ данных. Новый метод позволяет передавать весь этот объем информации, а не только его малую часть, как это происходит с текстом.

Для демонстрации метода команда связала модели GLM-5.2 от Z.ai с 753 млрд параметров и Qwen-3.5 от Alibaba на 4 млрд. Большая модель обрабатывает запрос, а текстовый ответ формируется меньшей моделью через "мост". Это позволило сократить разрыв в качестве между моделями на 10 процентных пунктов без увеличения вычислительных затрат.

Главный научный сотрудник Mostik Станислав Смирнов отметил сложность сопоставления внутренних представлений разных нейросетей. Даже при одинаковых задачах они кодируют информацию по-разному. Изучение этих закономерностей может помочь понять, как различные ИИ-системы принимают решения.

Карл Туйлс из Google DeepMind отметил практическую выгоду подхода: меньшая модель может генерировать ответ, что снижает нагрузку на более крупную модель. Технический директор Lovable Владимир Арустамян считает, что метод может повысить популярность узкоспециализированных моделей.

Mostik также применил метод в наборе задач ARC-AGI-3, где ИИ должен адаптироваться к новым правилам. Система с использованием "моста" показала высокие результаты, но подробности пока не разглашаются, так как соревнования еще продолжаются. Результаты пока основаны на внутренних экспериментах команды.