Google DeepMind: новый уровень управления роботами с Gemini и ER 2

Google DeepMind представила инновационные разработки в области робототехники — модели Gemini Robotics 2 и ER 2, которые значительно расширяют возможности управления роботами. Gemini Robotics 2 представляет собой VLA-модель, позволяющую контролировать все тело робота, из текстовой и визуальной информации создавая моторные команды. ER 2 обеспечивает комплексное планирование и координацию работы нескольких устройств.

Новая модель Gemini Robotics 2 способна управлять роботами различных форм-факторов, от настольных манипуляторов до полноразмерных гуманоидов. В отличие от предыдущей версии, она контролирует как верхнюю, так и нижнюю части тела, что позволяет роботам выполнять сложные действия, такие как ходьба, приседание, наклоны и поднятие предметов в ограниченном пространстве.

В практических демонстрациях робот Apptronik Apollo 2, управляемый Gemini Robotics 2, успешно выполнял задачи, такие как подъем лейки, снятие бейсбольной перчатки с полки и поиск необходимых объектов. Улучшенная моторика позволяет управлять сложными кистями с 22 степенями свободы, что дает возможность выполнения таких действий, как завязывание узлов и замена лампочек.

Модель ER 2, ставшая "высокоуровневым мозгом" для роботов, эффективно планирует многоступенчатые задачи, отслеживает их завершение и распределяет работу между несколькими роботами. В одном из видео демонстрировался процесс, где робот Apollo 2 поручал двурукому роботу Google складывать инструменты в контейнер в ходе уборки гаража.

Также была представлена автономная модель Gemini Robotics On-Device 2, работающая без интернета. Она быстро адаптируется к новым роботам, обучаясь менее чем по 200 примерам в течение нескольких часов. В настоящее время Gemini Robotics 2 доступна для частного просмотра, а ER 2 — через Gemini API и Google AI Studio, в то время как On-Device 2 тестируется доверенными партнерами.

Вспомним, что в июле компания Humanoid предложила новый подход к обучению роботов на основе реальных производственных задач.