뮌헨공과대학교(Technical University of Munich, TUM) Angela Schoellig 교수는 ChatGPT를 이용해 군집 드론이 음악에 맞춰 비행하는 안무를 개발한다. 추가적인 안전성 필터로 공중 충돌을 방지한다. 이 연구 결과는 ChatGPT와 같은 대규모 언어 모델(large language model, LLM)을 로보틱스에 적용할 수 있다는 점을 처음으로 입증한다.

이 연구는 2023년 IEEE 국제 로보틱스 및 자동화 컨퍼런스(IEEE International Conference on Robotics and Automation, ICRA)의 학술대회 발표 논문으로 공개되었다. 관련 웹 인터페이스는 쉽게 사용할 수 있다. 박사 과정 학생 Martin Schunk가 음악을 선택하고 안무를 제안하도록 요청하는 텍스트를 입력한다. ChatGPT 툴의 다른 프롬프트(prompt)를 이용해 군집 드론에 추가 지시를 내릴 수 있으며, 이후 알고리즘이 제안된 비행 경로의 타당성을 확인한다.

학습 시스템 및 로보틱스(Learning Systems and Robotics) 실험실의 화면은 드론 6대가 음악에 맞춰 원을 그리며 날고 있는 비행장의 시뮬레이션을 보여준다. TUM의 학습 시스템 안전성, 성능, 신뢰성 연구그룹(Chair of Safety, Performance and Reliability for Learning Systems) 소속 연구자들이 이 안무에 만족할 경우 이를 기록한다. 그 직후 손바닥 크기의 드론 6대가 로보틱스 실험실 바닥에서 이륙한다.

◆ 5분 내에 비행 로봇 3기 안무 완성

Angela Schoellig 교수 실험실에서는 연구팀이 면적 약 40제곱미터, 높이 3미터인 방의 천장에 카메라 6대를 설치했다. 바닥에는 절연 테이프로 십자 무늬를 표시했다. 이는 드론의 시작 위치를 나타낸다. 컴퓨터가 가능한 안무를 검증한 경우 드론은 이륙할 수 있다.

카메라는 프로펠러 4개와 모터를 탑재한 쿼드콥터(quadcopter)의 위치를 초당 200회 감지한다. 이 시스템은 현재 드론의 위치를 이상적인 위치와 비교한다. 학습 시스템 및 로보틱스 실험실의 연구팀이 드론을 최대 9대 사용하여 실현하는 ‘에어쇼’는 오늘날 100% 안전성을 자랑한다. 특수 안전성 필터가 없다면 사고가 발생하지 않는 시연 사례는 4회 중 1회에 불과할 것이다.

◆ SwarmGPT: 추가 알고리즘으로 비행 로봇의 안전성 확보

Angela Schoellig 교수는 ‘비행 로봇의 춤’을 위해 ChatGPT와 안전성 필터를 결합했다. Schoellig 교수는 “ChatGPT AI 도구는 텍스트를 생성하기 위해 발명되었지만, 안무를 제안할 수도 있다”고 말했다. 그러면서 “하지만 처음에 드론의 특성과 비행 경로의 물리적 한계에 대한 지식이 전혀 없는 상태이므로 실수할 것이 분명하다”고 덧붙였다.

추가 안전성 알고리즘은 제안된 안무의 비행 경로를 매핑하여 정밀한 방식으로 공중 충돌을 완전히 방지한다. 드론은 서로 대각선으로 접근하는 동작도 가능하다. Schoellig 교수는 여러 비행 로봇에 사용하기 위한 ChatGPT와 안전성 필터의 전체 컨셉을 ‘SwarmGPT’라고 부른다. 이 도구는 공중에서 프로세스를 생성하는 동시에 로봇과 전문 지식이 없는 사람 사이에서 인터페이스 역할을 한다고 말했다.

◆ ChatGPT로 달성한 양자 도약(quantum leap)

Angela Schoellig 교수가 드론 연구를 시작한 15년 전에는 수작업으로 안무를 구성했다. 드론 6대에 적용하는 여섯 가지 안무를 개발하고 실행하는 데에 3년 이상의 시간이 걸렸다. Schoellig 교수는 “ChatGPT로 양자 도약을 이룰 수 있었다”고 말한다.

지난 3개월 동안 연구자들은 최대 드론 9대에 30여개 안무를 실험했다. 오늘날 약 5분이면 30초 길이의 음악에 맞춘 드론 3대의 안전한 안무를 구성할 수 있다. 드론 수가 늘어날수록 ChatGPT가 계산을 수행하고 안무를 제안하는 시간이 증가한다. 그러나 Schoellig 교수는 이 개념이 확장 가능하다고 확신한다.

◆ 로보틱스: ChatGPT, 비전문가의 인터페이스 역할

ChatGPT를 통한 유사한 인터페이스를 다른 로봇에 이용할 수 있을까? 음성 제어로 물체를 집거나 케이블을 놓거나 문을 여는 로봇의 경우 현재 동작 성공률이 각각 63%, 56%, 80% 수준이다. 지금까지 다른 로보틱스 시나리오에 활용한 사례에서 신뢰도는 다소 높지 않았다.

Angela Schoellig 교수는 이러한 상황을 일종의 자극제로 생각한다. Schoellig 교수는 “다른 시나리오에서도 우리 팀의 방식이 지속적으로 발전할 것이라고 생각한다”고 말했다. 조만간 전문 지식이나 프로그래밍 능력 없이 음성 명령으로 흡착식(suction-based) 로봇이나 산업용 로봇을 재설계할 수 있을 것이다.