Ученые создали приложение для управления роботами с гарнитуры Apple Vision Pro (видео)
Программа доступна в официальном магазине приложений VisionOS App Store. Любой может использовать проект, опубликованный на Github, в собственных экспериментах. Ученые Массачусетского технологического института разработали приложение для гарнитуры смешанной реальности Apple Vision Pro, которое позволяет пользователям управлять роботами только с помощью жестов головы и рук.
Об этом сообщил разработчик приложения, докторант Янгхьо Парк в социальной сети X (бывший Twitter). Приложение под названием Tracking Streamer можно использовать для удаленного управления машинами в различных сценариях — от шуток до навигации в зоне бедствия и для других опасных манипуляций в спасательных или научных целях. Программа отслеживает движения человека, — в частности то, как двигаются голова, запястья и пальцы — и передает эти данные через соединение Wi-Fi к роботу, который находится в той же сети.
Подключенный робот превращает данные в соответствующие движения. "Это приложение теперь официально в VisionOS App Store! Вы можете найти Tracking Streamer в App Store и установить программу, — сообщают разработчики. Исследователи обнародовали свою работу в короткой статье, опубликованной на Github — хранилище проектов с открытым кодом.
Система отслеживает 26 точек на руках и запястьях, а также отдельные точки на голове. Программа позволяет считывать пространственные данные, высоту и другие параметры. Янгхьо Парк на видео демонстрирует систему в действии.
Соавтор исследования Гейб Марголис, аспирант Массачусетского технологического института, управляет четвероногим роботом с помощью рук и движений тела. Марголис жестами приказывает роботу подойти к закрытой двери, повернуть ручку, взяться за нее и войти. Также он жестом приказывает роботу взять
. Читать на focus.ua
