인공지능이 급속하게 발전하는 가운데 기업들이 자율주행과 체화된 지능(embodied intelligence) 등 무인 시스템을 지속적으로 추진하고 실제 시나리오에 적용하면서 새로운 기술 혁명과 산업 전환으로 이어지고 있다. 정보 획득을 위한 주요 수단인 시각적 인식은 이러한 지능형 시스템에서 핵심 역할을 한다. 그러나 동적이며 다양하고 예측 불가능한 환경에서 효율적이고 정밀하며 강건한 방식으로 시각 정보를 인식하는 작업은 여전히 어려운 과제이다.

실 세계(open-world) 시나리오에서 지능형 시스템은 방대한 데이터를 가공하고 주행 과정에서 발생 가능한 급작스러운 위험, 터널이나 입구, 야간 주행 중 강렬한 조명의 간섭 등으로 인한 극적인 광량 변화 등 여러 극단적인 이벤트도 다루어야 한다. ‘전력 장벽 (power wall)’과 ‘대역폭 장벽(bandwidth wall)’의 제약을 받는 전통적인 시각 감지 반도체는 이러한 시나리오를 다룰 때 자주 왜곡과 실패, 긴 지연시간에 직면하며 시스템의 안정성과 안전성에 심각한 영향을 주었다.

칭화대학교 뇌기반연산연구센터(Center for Brain Inspired Computing Research, CBICR)는 이러한 문제를 해결하기 위해 뇌 기반 시각 감지 기술을 집중적으로 추진했으며, 원시 기반(primitive-based) 표현과 두 가지 보완적인 시각 경로로 구성된 혁신적이며 상호보완적인 감지 패러다임을 제안했다. 사람의 시각 체계의 기본 원칙에서 영감을 얻은 이 접근방식은 시각 정보를 원시-기반 시각 표현으로 분해한다. 이러한 원시적 정보를 결합하여 사람 시각 체계의 기능을 모방하는 방식으로 두 가지 보완적이고 완전한 정보를 갖춘 시각 인식 경로를 형성한다.

CBICR은 이러한 새로운 패러다임을 기초로 세계 최초의 뇌 기반 보완적 시각 반도체 ‘Tianmouc’을 개발했다. 이 반도체는 초당 1만프레임의 속도와 10비트 수준의 정밀성, 130dB의 넓은 동적 영역(high dynamic range, HDR)으로 시각 정보를 빠르게 획득하는 한편, 대역폭은 90% 줄이고 낮은 전력 소비 수준을 유지한다. 이 시스템은 전통적인 시각 감지 패러다임의 성능 정체를 극복하는 것은 물론 다양한 극단적인 시나리오를 효율적으로 다루면서 시스템의 안정성과 안전성을 확보한다.

연구팀은 Tianmouc 반도체를 활용하여 고성능 소프트웨어와 알고리즘을 개발했으며, 차량에 장착되어 실제 환경에서 실행되는 인식 플랫폼에서 성능을 검증했다. 이 시스템은 다양한 극단적인 시나리오에서 저지연, 고성능 실시간 인식을 증명했으며, 지능형 무인 시스템 분야에 활용할 수 있는 거대한 잠재력을 드러냈다. 

Tianmouc의 성공적인 개발은 시각 감지 반도체 분야의 중요한 혁신이다. 지능형 혁신의 발전에 사용 가능한 탄탄한 기술을 지원하는 것은 물론 자율주행과 체화된 지능 등 핵심적인 응용을 위한 새로운 기회를 창출한다. CBICR이 ‘Tianjic’과 같은 뇌 기반 연산 반도체, 툴체인(toolchain), 뇌 기반 로보틱스에서 정립한 기술적인 기초에 Tianmouc이 추가되면 이러한 지능 생태계가 추가로 발전하면서 인공 일반 지능(artificial general intelligence)의 발전을 강력하게 주도할 것이다.

이러한 연구 결과를 기초로 작성된 논문 ‘실 세계 감지를 위한 보완적 방법을 갖춘 이미지 반도체(A Vision Chip with Complementary Pathways for Open-world Sensing)’는 과거 뇌 기반 하이브리드 패러다임(hybrid-paradigm) 연산 반도체 ‘Tianjic’에 이어 2024년 5월 30일자 <Nature> 표지 논문으로 게재되었다. 이러하 성과는 뇌 기반 연산 및 감지 분야의 근본적인 혁신을 나타낸다.