Разработана новая модель WholeBodyWAM, предназначенная для управления человекоподобными роботами, способными одновременно передвигаться и манипулировать объектами. Эта система расширяет возможности существующих моделей World Action Models (WAMs), которые ранее фокусировались в основном на задачах манипуляции с использованием только рук или на настольных операциях. WholeBodyWAM объединяет предсказание визуальной динамики, действий по манипуляции и намерений управления всем телом робота, что делает ее применимой для более широкого спектра задач.
Принцип работы WholeBodyWAM
Основная идея WholeBodyWAM заключается в совместном моделировании визуальной динамики и действий робота. В отличие от предыдущих работ, где внимание уделялось только манипуляциям, WholeBodyWAM учитывает всю совокупность движений человекоподобного робота. Система сохраняет предварительно обученные модели взаимодействия с миром и действиями, но при этом адаптирует их к специфике управления всем телом. Это достигается за счет интеграции семантики гетерогенных контроллеров всего тела (WBC) и координации их работы.
Такой подход позволяет модели эффективно использовать уже имеющиеся знания о мире и действиях, не переобучая их с нуля для каждой новой задачи. Вместо этого, WholeBodyWAM фокусируется на структурированном согласовании и заземлении этих знаний с помощью контроллеров всего тела, что значительно упрощает процесс обучения и повышает обобщающую способность робота.
Результаты экспериментов и перспективы
Эксперименты, проведенные с использованием WholeBodyWAM, показали впечатляющие результаты. В симуляционных задачах общая доля успешных выполнений составила 91,9%. В реальных условиях, при выполнении задач, выходящих за рамки обучающих данных (out-of-distribution), прогресс составил 0,23 по сравнению с базовыми моделями. Кроме того, наблюдалось значительное снижение разброса в показателях успеха при использовании различных контроллеров всего тела – на 70% по сравнению с базовыми методами.
Полученные данные свидетельствуют о том, что WholeBodyWAM открывает путь к созданию масштабируемых систем искусственного интеллекта для управления всем телом человекоподобных роботов. Расширение предварительно обученных моделей взаимодействия с миром через структурированное согласование с контроллерами всего тела является перспективным направлением для развития робототехники.
Источник: cs.RO updates on arXiv.org
