Pony.ai는 Toyota 등이 출자하고 있는 중국의 자율주행 스타트업이다. Tesla가 적용하면서 주목을 받고 있는 “End-to-End(E2E)”라고 불리는 자율주행 기술이 안고 있는 최대 문제를 해결하고자 도전하고 있다. 자동차가 왜 그렇게 움직였는지, 그 이유를 사람이 분석하기 쉽게 만드는 구조를 구축하는 것이다. 

사고가 발생했을 때의 원인규명에 도움이 된다. 그 성패는 자율주행의 보급에 큰 영향을 미칠 가능성이 있다.

◆ Toyota / NVIDIA와 연계

Pony.ai는 Alphabet과 중국의 Baidu의 기술자였던 James Peng CEO 등이 2016년에 창업한 기업이다. Toyota와 중국의 디이自(FAW Group), NVIDIA 등과 연계해서 소프트웨어 기술자를 중심으로 1,400명 이상의 직원이 근무하고 있다.

이미 전세계 6개 도시에서 450대 이상의 시험제작차량을 주행시키며 테스트를 진행 중이다.

Pony.ai의 자율주행 소프트웨어의 특징은 E2E로 AI를 도입하는 것이다. Tesla가 적용을 목표로 하면서 주목을 받고 있는 방법이다. 기존의 자율주행 소프트웨어는 센서 입력을 바탕으로 한 주변 물체의 “인지”, 움직이는 방향의 “예측”, 차량을 어떻게 움직일 것인가에 대한 “판단”, 실제 차량을 움직이는 “조작” 등 크게 4가지 기능으로 나누어 구성한다. 이들을 모두 AI로 대체하고 엄청난 양의 데이터를 학습시킴으로써 자율주행 성능을 대폭 향상시킬 수 있는 가능성이 있다.

나아가 Pony.ai는 E2E의 AI 자율주행을 통해 기존의 기능 업데이트의 번거로움을 줄일 수 있다고도 주장한다. 기존 구성은 각 기능이 강하게 연결되어 있어 “어딘가의 기능에 새로운 프로그램을 추가하면 다른 기능도 크게 변경해야만 하는 경우가 있었다”고 한다.

예를 들어, 작은 동물에 관한 “인지” 기능을 추가하면 “예측”이나 “판단”에도 대규모 변경이 필요하다는 점을 꼽았다. E2E로 변경하면 단일 기능으로 모든 계산을 진행하기 때문에 기능 간 상호작용을 신경 쓸 필요가 없어진다.

◆ 블랙박스에서 원인을 찾는다

E2E의 AI 자율주행 연구개발은 Pony.ai를 비롯한 미국, 중국의 스타트업을 중심으로 이루어지고 있다. 실용화의 최대 과제로 여겨지는 것이 바로 내부에서 어떤 계산이 이루어지고 있는지 알 수 없는 블랙박스가 된다는 점이다. 잘못된 스티어링 휠 각도가 출력되어 사고가 발생하더라도 원인을 알 수 없기 때문에 사고의 책임 소재를 판단하기 어려워진다.

자동차 메이커들이 E2E 자율주행과 거리를 두는 원인 중 하나이며, 아무리 성능이 좋더라도 사회에 적용하기 어렵다면 보급에 걸림돌이 되고 만다. Pony.ai는 이와 같은 “분석성”이라 일컬어지는 AI의 최대 문제 중 하나를 해결하는데 도전한다. 예를 들어 사람이 원인을 찾는데 일조하도록 “Guidance Code Book”이라고 불리는 운전 규칙을 AI의 계산에 조합하는 아이디어를 제안한다.

조건 내에서 답을 내도록 AI를 묶어두는 장치라고 할 수 있으며, 사고가 발생했을 때 사전에 정의된 조건 내인지 여부를 사람이 알 수 있게 한다. AI의 실수인지 여부를 판단하기 쉬워진다. Peng CEO는 “운전은 애매해서는 안된다. 규칙은 반드시 지켜야 한다”고 설명했다.

◆ LLM 활용으로 일반상식을 학습하게 한다

나아가 Pony.ai는 E2E의 AI 자율주행 이외의 약점 해결도 시도한다. “일반상식”을 학습하게 하는 것이다. 예를 들어 도로에 공이 굴러오면, 사각지대에서 어린이가 튀어나올 가능성이 있다는 것을 사람은 상식으로 알고 있다. 그러나 현실에서는 그런 상황이 드물어서 데이터를 수집하기가 어렵고 AI에게 학습시키기 힘들다.

그와 같은 “300만 km 주행에서 1회 밖에 발생하지 않는 일”을 AI에게 학습시키는데 Pony.ai는 “ChatGPT” 등에 사용되는 대규모 언어모델(LLM)을 활용한다.

웹사이트 등의 언어정보를 바탕으로 학습함으로써, 사람의 일반상식을 자율주행 AI에 반영시킨다. AI의 자율주행 응용을 연구하는 도쿄공업대학교(東京工業大學)의 사토 이쿠로(佐藤育?) 특임 준교수는 “Pony.ai는 꽤 앞선 연구를 하고 있다. AI의 해결과제에도 정면으로 대응하고 있다”며 놀라워하면서 칭찬했다.

◆ 게임 체인저를 목표로 한다

Pony.ai는 Tesla와 다르게 센서로 카메라와 더불어 LiDAR나 밀리파 레이더 등도 이용해 나갈 방침이다. Peng CEO는 “Tesla는 Level 2의 자율주행이지만, Pony.ai는 Level 4를 목표로 하고 있다”고 설명하며, Tesla를 뛰어넘는 것을 목표로 하고 있다고 주장했다.

자율주행 기술의 개발은 Alphabet 산하의 Waymo와 GM 산하의 GM Cruise 등이 선행해왔지만, 무인택시 서비스는 난이도가 높아 한정된 지역에서만 상용운행 하는데 그치고 있다. 인지, 판단과 같은 기능별로 나누어 거의 모든 것을 사람이 직접 프로그램을 작성하고 있지만, 세계의 주행환경은 복잡하기 때문에 인력으로 이를 망라하기에는 한계가 있다.

Tesla나 Pony.ai는 선행자와 완전히 다른 기술을 도입함으로써 “게임 체인저”의 자리를 노린다. 사람이 직접 프로그램을 작성하는 대신 전세계에서 망라한 막대한 주행 데이터를 수집해서 AI를 학습시킴으로써 Waymo 등보다 빠르게 광범위한 지역에서의 자율주행을 실용화하는 것을 목표로 한다. Pony.ai의 대응이 성공한다면 자율주행 소프트웨어의 주류는 E2E의 AI 자율주행으로 완전히 이행할 가능성이 있다.