로봇 공학과 자율주행차는 기술 업계에서 가장 빠르게 성장하고 있는 분야이며 업무와 수송의 안전성과 효율성을 강화할 수 있다. 로봇과 자율주행차 모두 주변 환경을 정확하게 인식해야 하므로, 3D 객체 인식 방법을 활발하게 연구하고 있다. 대부분의 3D 객체 감지 방법은 LiDAR 센서를 이용해 환경의 3D 포인트 클라우드를 생성한다. 간단히 말해, LiDAR 센서는 레이저 빔을 이용하여 광원 주변의 객체와의 거리 및 표면을 신속하게 스캔하고 측정한다. 하지만 LiDAR는 특히 우천 등 궂은 기상 조건에서 노이즈에 매우 민감하여 LiDAR 데이터만 사용할 경우 오류가 발생할 수 있다.

이 문제를 해결하기 위해 과학자들은 3D LiDAR 데이터와 기본 카메라로 촬영한 2D RGB 이미지를 결합하는 멀티모달(multi-modal) 3D 객체 감지 방법을 개발했다. 2D 이미지와 3D LiDAR 데이터를 융합하면 더욱 정확한 3D 감지 결과를 얻을 수 있지만, 여전히 작은 객체를 감지하기 어렵다는 문제가 있다. 2D 및 3D 데이터세트에서 각각 추출한 의미론적(semantic) 정보를 적절하게 정렬하는 과정에 주로 문제가 존재하며, 정밀하지 않은 보정이나 폐색(occlusion) 때문에 이 작업을 수행하기 어렵다.

이러한 배경에서 일본 리츠메이칸 대학교의 Hiroyuki Tomiyama 교수 연구팀은 멀티모달 3D 객체 감지의 정확성과 강건성을 높이기 위한 혁신적인 방법을 개발했다. 2023년 11월 3일 <IEEE Internet of Things Journal>에 발표된 논문에서는 ‘동적 포인트 픽셀 특징 정렬 네트워크(Dynamic Point-Pixel Feature Alignment Network, DPPFA-Net)’라는 체계를 제안한다.

이 모델은 세 가지 새로운 모듈, 즉 메모리 기반 포인트 픽셀 융합(Memory-based Point-Pixel Fusion, MPPF) 모듈, 변형 가능한 포인트 픽셀 융합(Deformable Point-Pixel Fusion, DPPF) 모듈, 의미론적 정렬 평가기(Semantic Alignment Evaluator,SAE) 모듈의 다중 인스턴스를 정렬하는 것으로 구성된다. MPPF 모듈은 모드 내(intra-modal) 특징(2D-2D 및 3D-3D)과 교차 모드 특징(2D-3D)의 명시적인 상호작용을 수행하는 역할을 한다. 2D 이미지를 메모리 뱅크(memory bank)로 사용하면 네트워크 학습의 어려움이 완화되어 3D 포인트 클라우드에서 노이즈에 관한 시스템의 강건성이 높아진다. 게다가 더욱 종합적이며 차별화된 특징의 사용을 촉진한다.

반면 DPPF 모듈은 핵심 위치의 픽셀에서만 상호작용을 수행하며 이러한 위치는 스마트 샘플링 전략을 통해 결정한다. 이를 통해 연산 복잡성은 낮아지면서 고해상도로 특징을 융합할 수 있다. 마지막으로 SAE 모듈은 융합 과정 중 두 가지 데이터 표현(data represenation)을 의미론적으로 정렬하여 특징 모호성 문제를 완화한다.

연구자들은 널리 사용되는 KITTI Vision Benchmark를 기준으로 가장 높은 성능을 보여주는 시스템과 DPPFA-Net을 비교하는 방식으로 테스트를 진행했다. 특히 제안된 네트워크는 다양한 노이즈 조건에서 정밀도가 평균 7.18% 개선되는 성과를 보였다. 연구팀은 모델의 기능을 추가로 테스트하기 위해 KITTI 데이터세트에 비가 내리는 것과 같은 인공적인 멀티 모달 노이즈를 도입하여 노이즈가 있는 새로운 데이터세트를 생성했다. 그 결과 제안된 네트워크는 심각한 폐색이 존재하는 상황은 물론 다양한 수준의 기상 악조건에서도 기존 모델보다 더 나은 성능을 나타냈다. Tomiyama 교수는 “KITTI 데이터세트와 노이즈가 있는 까다로운 멀티모달 사례에서 방대한 실험을 진행한 결과 DPPFA-Net이 새로운 첨단 수준에 도달했다”고 말했다.

특히 정확한 3D 객체 감지 방법은 다양한 방면으로 우리의 생활을 개선할 수 있다. 자율주행차가 이러한 기술을 이용하면 사고를 줄이고 교통 흐름과 안전성을 높일 수 있을 것이다. 또한 로봇 공학 분야의 영향도 간과할 수 없다. Tomiyama 교수는 “이번 연구는 로봇이 작업 환경을 더 효과적으로 이해하고 적응하는 과정을 촉진하여 작은 대상을 더욱 정밀하게 인식할 수 있다”며, “이러한 발전을 통해 다양한 분야에서 활용되는 로봇의 능력이 향상될 것”이라고 설명했다. 또한 3D 객체 감지 네트워크는 딥러닝 인식 시스템에 사용되는 미가공 데이터(raw data)의 사전 라벨링(pre-labeling)에도 사용된다. 이를 통해 수작업 주석(annotation) 비용이 크게 감소하여 이 분야의 발전이 가속화된다.

전체적으로 이 연구는 자율주행 시스템의 인식 능력을 높여 사람의 활동을 더욱 효과적으로 보조하는 올바른 방향으로 나아가고 있다.