과학자들은 애플 비전 프로 VR 헤드셋을 착용한 상태에서 손짓으로 로봇을 조종할 수 있는 앱을 만들었습니다.
과학자들은 사용자들이 머리와 손짓만으로 로봇을 조종할 수 있는 Apple Vision Pro 혼합 현실 헤드셋을 위한 앱을 개발했습니다. 그것은 장난을 치는 것부터 재난 지역을 탐색하는 것까지 다양한 시나리오에서 원격으로 기계를 조종하는 데 사용될 수 있습니다.
“트래킹 스트리머”라고 불리는 그 앱은 사람의 움직임 – 특히 머리, 손목, 그리고 손가락이 어떻게 움직이는지 – 를 추적하고 같은 네트워크에 있는 로봇에게 와이파이 연결을 통해 데이터를 스트리밍합니다. 그리고 나서 연결된 로봇은 데이터를 상응하는 움직임으로 변환합니다.
연구원들은 오픈 소스 코드 저장소인 깃허브(Github)에 3월 9일 발표한 짧은 논문에 그들의 연구를 실었습니다. 그들의 시스템은 손과 손목에 있는 26개의 지점들과 머리에 있는 별개의 지점들을 추적합니다. 그것은 또한 당신이 땅에서 얼마나 높이 있는지와 같은 공간 데이터를 기록합니다.
MIT의 박사과정 학생인 박영효 씨는 이 시스템이 작동하는 것을 보여주는 비디오를 이전에 트위터로 알려진 X 웹사이트에 게시했습니다.
짧은 동영상에서 MIT 대학원생인 공동저자 게이브 마골리스(Gabe Margolis)는 손과 몸의 움직임을 이용해 네 발 달린 로봇을 조종합니다.
마골리스는 닫힌 문으로 다가가 손잡이를 그리퍼로 돌려 들어가도록 로봇에게 명령하는 몸짓을 합니다. 다른 순서에서, 그는 로봇에게 플라스틱 쓰레기통 뚜껑을 집어 들고 쓰레기통에 버리도록 몸짓을 합니다. 어느 순간, 그는 또한 몸을 구부리는데, 이것은 로봇이 그를 흉내 내도록 유발합니다.
애플은 비전 프로 가상 현실(VR) 헤드셋을 2024년 2월에 출시했는데, 그 기기를 일상 생활에서 착용하는 사람들이 등장한 이후의 영상입니다. 출시 직전, 과학자들은 VR 헤드셋을 일상 생활에서 사용한다면 얼마나 잘 작동하는지 조사한 연구를 발표했습니다.
그들은 이 기기들이 지연 시간을 가졌고, 주변 시야를 차단했으며, 재미있는 집 거울과 같은 왜곡을 일으켰다는 것을 발견했습니다. 그들은 운전을 하거나 아래층으로 걸어 내려가는 동안 VR 헤드셋을 착용하지 말라고 경고했습니다.
Park과 Margolis는 그들의 논문에서 일부 사용자들이 안경처럼 항상 Apple Vision Pro를 착용할 수 있으며, 계속 사용하면 사람들이 어떻게 움직이는지 로봇에게 가르칠 수 있는 더 많은 데이터를 제공할 수 있을 것이라고 추측했습니다.