해당 팀은 대규모 언어 모델을 이용해 사족보행 로봇 Spot에게 영국 집사, 1920년대 고고학자, 10대 청소년, 셰익스피어 희곡 배우 등 여러 인격을 부여했다.

Boston Dynamics는 ChatGPT를 이용해 사족 보행 로봇 개(robot dog)인 Spot에게 여러 인격은 물론 사람들과 대화하고 주변을 설명하며 시간에 따라 행동을 적응하는 능력을 부여하고 있다.

이제 Spot은 대규모 언어 모델(large language model)을 통해 질문을 이해하고 답변하고, 주변의 물체를 확인하고 설명하며, 다양한 시나리오에 대응하여 자율적으로 행동을 계획할 수 있다.

담당 팀은 프로젝트를 통해 Spot을 “챗봇”으로 만들었으며, 생성형 AI의 발전 사항을 동적 로봇 분야에 도입했다고 말했다.

Spot의 신규 능력을 시연하는 동영상에서 해당 로봇은 방문자들을 대상으로 회사 시설 관람을 진행하며 영국인 집사, 1920년대 고고학자, 10대 청소년 및 셰익스피어 연극 배우 등 몇 가지 인격을 나타내는 모습이다.

동 기업은 Spot의 몸체에 새로운 ‘입’을 탑재해 로봇이 말할 때 ‘반려동물의 입처럼’ 움직인다고 말했다.

Boston Dynamics는 웹사이트를 통해 “지난 1, 2년 동안 인공지능의 발전, 특히 생성형 AI 발전이 급속하게 진행되었다”고 말했으며, “이러한 모델이 어떻게 작동하고 로봇 공학의 발전에 어떤 영향을 주는지를 탐색하고자 했다”고 덧붙였다.

특히 동 기업은 방대한 데이터세트로 훈련된 대규모 AI 시스템인 대규모 기초 모델(Foundation Model, FM)을 살펴보고자 했다고 말한다.

이러한 대규모 모델은 창발적 행동(Emergent Behavior)으로 알려진 능력을 보유하는데, 프로그램된 행동의 범위를 넘어선 과제를 수행할 수 있다는 의미로 로봇에 배치되었을 때 자율 역량이 더 커질 수 있다.

Boston Dynamics는 “이러한 기술 덕분에 여러 용도에 적응할 수 있으며 다른 알고리즘의 기초 역할을 한다”고 설명한다.

Spot은 FM 시스템을 사용해 실시간 결정을 내릴 수 있었다. 담당 팀은 시각적 질의 응답(Visual Question Answering, VQA) 모델도 활용하여 Spot은 이미지를 확인하고 캡셔닝을 진행한 후 관련된 답변을 생성할 수 있다.

Boston Dynamics 수석 소프트웨어 엔지니어 Matt Klingensmith는 “로봇에게 매우 짧은 스크립트, 예컨대 ‘이곳은 로봇을 충전하는 충전소이다’라는 문장을 제시했다”고 말했다. 그러면서 “로봇은 보고 있는 대상에 관한 정보를 더 많이 얻기 위해 카메라의 이미지와 이 문장을 통합하여 시각적 질의 응답 모델을 실행한 후 답변을 생성한다”고 설명했다.

그는 “말 그대로 로봇은 주변 이미지의 캡션을 생성하고 보유한 스크립트에 포함시킨 후 답변을 생각할 것”이라고 덧붙였다.

해당 팀은 개발 과정에서 일부 놀라운 일이 있었다고 말했다. 한 가지 예는 Spot에게 부모님이 누구인지 묻자 화면 나타난 구형 Spot 모델로 팀을 데려가 ‘연장자들’이라고 칭한 것이다.

해당 팀은 이러한 행동이 자각이나 예상치 못한 지능을 시사하는 것은 아니지만 “통계적 관련성의 힘”과 개념을 연결할 수 있는 Spot의 능력을 증명했다고 말했다.

Boston Dynamics는 로봇에 AI를 배치하는 과정을 지속적으로 탐색하고 있다고 밝혔으며, 로봇이 사람을 이해하고 대응할 수 있는 미래가 그리 멀지 않다고 덧붙였다.

해당 팀은 “로봇은 실제 세계에서 대규모 기초 모델을 멋진 방식으로 구현한다”며, “이러한 모델은 동일한 토큰(token)으로 수많은 로봇의 과제에 유용할 수 있는 문화적 맥락과 일반 상식에 해당하는 지식, 유연성을 제공할 수 있다”고 설명했다. 아울러 “이러한 기술을 통해 로봇은 사람과 함께, 사람 주변에서 작업할 때 도구나 안내자, 동반자 또는 엔터테이너로서 더 좋은 수행 능력을 보일 수 있을 것”이라고 말했다.