센서 시스템이 더 먼 거리를 감지할 수 있다면 자율주행 시스템에 도움이 된다. Owl은 자사의 열화상 카메라가 단 몇 백 달러의 비용으로 기본 RGB 시스템을 극적으로 강화할 수 있다고 말한다.

낮은 비용으로 효과적인 자율주행 센서를 개발하기 위해 경쟁하려면 전천후를 지원하는 노력이 필요하다. 햇빛이 있는 맑은 날에는 센서가 주변 상황을 가장 쉽게 파악할 수 있지만 문제의 일부만 해결했을 뿐이다. 더욱 어두운 시간대에 주행하기 위한 해결책 중에는 열화상 카메라(thermal camera)가 있으며, Owl Automated Imaging(이하 ‘Owl’)의 제품도 포함된다. Owl은 열 거리 측정(thermal-ranging) 3D 센서를 개발하고 있으며, 이 센서가 모든 광량 및 시인성 조건에서 물체를 감지할 수 있다고 주장한다.

2023년 오토센스 유럽(AutoSens Europe 2023)에서 Owl 공동 창립자 겸 CEO Chuck Gershman은 어떠한 시간대나 날씨에도 물체를 확인할 수 있는 3D 열화상 카메라를 개발하고자 했다며, 오늘날 감지 시스템은 마땅히 파악해야 할 보행자를 인식하지 못한다고 말했다.

Gershman은 “일반적으로 햇빛이 있고 구름이나 안개가 없으며 비가 오지 않으면 센서가 잘 작동하지만, 조명이 꺼지면 치명적일 수 있다”고 말했다.

교통사고 사망자 통계는 자율주행 센서가 야간에 사람을 정확히 인식해야 할 필요성을 증명한다. 2021년 미국에서 발생한 보행자 사망 중 50%는 오후 6시와 자정 사이에, 24%는 자정과 새벽 6시 사이에 발생했다.

2019년 창립된 Owl은 뉴욕 로체스터의 과거 Kodak 본점 소재지에 위치하고 있으며, Kodak에서 근무하던 엔지니어링 인재를 유치했다. Owl의 열화상 카메라는 레벨2~레벨4 자율주행 기술을 목표로 개발되었으며, 건설, 농업, 스마트 기반시설에도 활용할 수 있다. Owl은 현재의 아날로그 기반 열 센서에서 3D Thermal Ranger(열 거리 측정 장치)라고 하는 완전한 디지털 방식에 가까운 온도 센서(thermosensor)로 전환하고 있다.   

Gershman은 “그 결과 동일한 실리콘 면적에 더 많은 픽셀을 넣고 픽셀당 전력 소비가 한자릿수 이상 줄어들 수 있다”고 말했다. 그는 “당사는 오늘날 차량에 사용할 수 있는 가장 높은 해상도, 즉 1280 x 800 해상도의 열화상 카메라를 생산한다”며, “해당 정보를 활용하기 위해 모든 소프트웨어를 구축했는데, RGB 소프트웨어를 바로 열 화상 카메라에 적용하면 최선의 반응을 얻지 못하기 때문”이라고 설명했다.

Gershman은 Owl의 열화상 센서가 완전한 스택을 구성하려면 다른 유형의 센서들과 결합되어야 한다고 말한다. 그는 자율주행 시스템에는 네 가지 핵심 요소가 있으며, 그 중 실행을 위한 마지막 요소인 소프트웨어와 하드웨어를 관여시키려면 감지(detection), 분류(classification), 거리 측정(range)이 먼저 필요하다고 설명했다. 이 네 가지를 모두 관리하는 단일 센서 솔루션은 없다. 시각(RGB) 카메라는 감지와 분류 능력이 우수하고 스테레오 쌍(stereo pair)에 사용되었을 때 준수한 거리 정보를 제공하지만, 작동을 위해서는 빛이 필요하다. 레이다와 라이다는 조명이 밝지 않은 환경에서도 작동 가능하지만, 깊이 측정 능력은 우수한 대신 분류 능력이 좋지 않다. 3D 열 센서는 라이다보다 낮은 비용으로 거리 측정 능력을 제공하면서 시각 카메라의 기능을 강화할 수 있다고 Gershman은 주장했다.

그는 “열화상 카메라는 분류 관점에서 시각 카메라를 보충한다”며, “RGB 카메라가 분류에 실패했을 때 열화상 카메라가 계속 해당 물체를 확인한다는 점이 근본적인 가치 제안”이라고 말했다.

◆ 더 많은 데이터로 차량의 충분한 반응 시간 확보

Owl이 3D Thermal Ranger를 개발하기 전에는 열화상 카메라와 RGB 카메라를 결합하려면 세 개의 컴퓨터 보드가 필요했을 것이다. Owl은 디지털화된 센서와 통합된 로직 보드(logic board)를 제공하여 픽셀이 30만 개에서 1백만 개 이상으로 증가했는데도 해당 장치는 더 작아지고 냉각 장치도 필요로하지 않는다.

Owl의 시스템은 열화상 데이터를 직교 좌표계(Cartesian coordinate system)으로 전환하여 모든 데이터가 레이더 또는 라이다 시스템에서 전달되는 것과 동일한 형식에 존재한다고 Gershman은 설명한다. 오늘날 일반적인 헤드램프가 비추는 거리는 40~50m이지만, Owl의 열화상 카메라는 약 180m 거리에 위치한 물체를 확인 및 분류하고 최대 400m 거리에 있는 물체를 감지할 수 있다.

Gershman은 “그 결과 차량이 반응할 수 있는 시간이 크게 증가한다”며, “이것이 근본적인 가치”라고 말했다. 또한 “고속도로에서는 이 기능을 끄고 도심 환경에 적용할 수 있다”며, “열화상 솔루션을 차량에 적용하면 열화상 카메라를 이용해 어두운 환경에서 뒤에 있는 자전거나 옆의 거리를 가로질러 개를 산책시키는 보행자를 확인할 수 있을 것”이라고 설명했다.

Owl은 측방 및 후방 확인 용도로 저비용의 1280 x 400 해상도 센서를 제공하지만, 향후 양산차에서 열화상 센서가 탑재될 정확한 위치는 여전히 논쟁의 대상이다. Gershman은 협력할 가능성이 있는 자동차 제조사나 1차 공급업체를 공개하지 않고 있다. 시각 및 열화상 데이터 스트림을 융합하는 것이 목표라면 이들 카메라들은 최대한 서로 물리적으로 가까운 위치에 있어야 하며, 동일한 강체 구조물(rigid structure)에 장착될 가능성이 있다.

Gershman은 도로 기반 시설이 차선 표시, 신호등, 표지판 등 시각적인 신호에 의존하기 때문에 열 센서가 당분간 기본 카메라 옆에 탑재되어야 한다고 말했다. 그는 센서들은 큰 치즈를 이루는 조각들과 같다며, 하나의 센서 유형에는 구멍이 존재할 수 있지만 합쳐지면 단단한 블록을 형성할 수 있다고 설명한다.

그는 “우리는 100여 년 동안 사람의 눈을 고려하여 구축된 도로를 이용하고 있으며, 모든 기반시설은 사람을 염두에 두고 설계되었다”며, “당사는 이러한 요소를 버리지 않으며, 시각 카메라는 오랫동안 역할을 담당할 것”이라고 말했다.