Американские инженеры из Университета Дьюка разработали фреймворк CoDance, позволяющий по одному короткому видео парных танцев обучить человекоподобного робота двигаться, держась за руки с человеком. В рамках проекта робот Unitree G1 после обучения в симуляторе смог танцевать, шагая вперед и назад под управляемым партнером и удерживая руки, после чего прошёл испытания в реальной системе захвата движения. Про работу и результаты рассказывают участники проекта и опубликованные ими материалы.

Метод основывается на том, что разработчики берут видеоролик парного танца длительностью чуть менее десяти секунд, реконструируют по нему трёхмерные позы обоих танцоров и переносят движения на кинематику робота. При этом один танцор выступает эталоном, а второй используется как виртуальный партнёр. Для обучения движению вперёд и назад видеоролик могут прокручивать задом наперед, чтобы робот учился переходам между направлениями.

Сама технология Ifе CoDance включает создание виртуальных партнёров и моделирование сил — в виде случайно добавляемых внешних воздействий к запястьям робота. Это делается потому, что исходный видеоролик не содержал информации о силе, с которой люди тянут и толкают друг друга, и инженеры добавили искусственные воздействия, чтобы алгоритм учился подстраиваться под партнёра и сохранять равновесие.

В симуляторе робот обучался с подкреплением: он получал данные о собственном положении, жесткости рук, положении таза и коленей партнёра за последнюю секунду и — не зная внешних сил — должен был предсказывать влияние партнёра по смещению рук. Награда назначалась за сохранение расстановки стоп и за то, чтобы руки перемещались согласно рассчитанным позам. В рамках обучения применяется отдельная нейросеть для контроля подвижности ног и поддержания сходства движений с записями.