Mitsubishi Electric은 센서 데이터를 활용해 더욱 안전하고 만족스러운 차량 실내 경험을 개발한다.

Mitsubishi Electric이 최근 미시간 주 노스빌 R&D 센터에서 <SAE Media>에 설명한 내용에 따르면, 미래의 차량 안전성 제고를 위해 운전자 모니터링 및 여러 차량 실내 센서에서 수집한 정보를 이용하고 있다. 기술 설명은 개발 중인 신규 사용자 경험(UX) 기술 시연을 위해 만들어진 3열 SUV 콘셉트카의 콕핏에서 진행되었다.

콘셉트카 실내에는 두 개의 터치스크린이 존재하며 15.6인치(396mm) 중앙 디스플레이와 조향 핸들 좌측의 소형 디스플레이로 구성된다. 또한 RGB(적색/녹색/청색) 적외선 카메라 2대, 레이저 변환 장치 2대, 지향성 마이크(directional microphone) 2대, 열센서 4개 및 조향 컬럼에 장착된 적외선 운전자 모니터링 시스템도 포함한다. 모든 센서는 Qualcomm의 최신 차량 등급 SoC에서 작동한다. 안전성 필수 외 기능은 Android 12 운영체제에서, 안전성 필수 기능은 QNX의 실시간 운영체제에서 실행된다.

Mitsubishi Electric 혁신 그룹 Filament Labs의 수석 플랫폼 엔지니어 Grigori Maistrenko는 “차량 내 열화상 카메라와 적외선 카메라가 수집한 정보를 융합하면 실내 상황을 많이 파악할 수 있다”고 설명했다. 그의 팀은 센서 데이터를 시작점으로 기존 UX 기술을 향상하고 시선 감지 등 새로운 애플리케이션을 개발한다.

이러한 시스템은 운전자가 운전대를 잡고 있지만 핸드폰이나 사이드 윈도우에 집중하고 있는지를 판단할 수 있다고 Filament Labs의 사용자 경험 설계자 Sana Jafri는 언급했다. 시스템은 음향, 시각 또는 다른 운전자 경고를 통해 주행 중 주의 분산에 대응한다. 주행이 종료되면 운전자는 시각적인 도표를 통해 운전에 얼마나 집중했는지를 확인할 수 있다. 이러한 요약 내용은 사이드 윈도우나 터치스크린을 바라보는 데 사용한 시간은 물론 주행 외 기타 작업에 할애한 시간의 비율을 보여준다.

Maistrenko는 “실제 주행 내용을 알게 되면 매우 놀랄 것”이라고 밝혔다.

◆ ‘집중 모드’에 집중

Mitsubishi Electric 팀은 운전자 과부하(overload) 문제 완화를 위한 노력도 진행하고 있다. Jafri는 “다양한 연구를 통해 주의 분산과 인지 부하가 교통 사고의 주요 요인이 되는 양상을 발견했다”고 설명했다. 그 결과 UX 시스템의 ‘집중 모드’가 개발되었다. 집중 모드를 선택하면 내비게이션과 HVAC, 미디어만 사용할 수 있다. Jafri는 이 시스템이 운전자를 학습할 수 있으므로 운전자가 미디어를 전혀 사용하지 않으면 내비게이션과 HVAC만 필수 실내 기능으로 사용할 수 있다고 덧붙였다.

운전자 모니터링 기능은 또한 운전자의 눈꺼풀이 감기거나 좌석에서 몸이 기울어지는 등 졸음이나 응급 의료 상황도 감지할 수 있다. 센서 데이터를 통해 대응이 발동된다. Jafri는 “차량의 자율주행 수준에 따라 자율 주차도 가능하며, 첨단 크루즈 컨트롤의 경우 차량이 속도를 줄이다가 정지할 수 있다”고 언급했다.

운전자 프로파일 설정으로 관련 건강 정보를 입력하면 구급 대원들이 중앙 스크린에서 복용 약물 목록, 알레르기, 혈액형 및 기타 의료 정보를 확인할 수 있다. Jafri에 따르면 중앙 스크린의 설계와 위치는 차량 외부에서 텍스트를 읽을 수 있도록 설정되었다.

Jafri는 “센서 감지 내용에 따라 정보를 사용할 수 있는 방식을 제시하는 것이 중요하다”며, “이를 통해 운전자와 탑승자에게 더욱 안전한 실내 경험을 제공할 수 있다”고 설명했다.

◆ 레이저 센서와 머신러닝

Mitsubishi Electric 팀은 스웨덴 기업 Klimator와 협력하여 차량 전면 레이저 열 센서를 통해 얼음이나 눈 또는 기타 도로 상태 문제를 감지할 수 있는 시스템을 개발하고 있다.

Jafri는 “중앙 디스플레이 스크린에 25미터 전방에서 감지된 내용을 표시할 수 있어 운전자가 이러한 정보에 입각하여 현재의 도로 상태를 기초로 주행 속도에 관한 결정을 내릴 수 있다”고 설명했다. Mitsubishi Electric은 또한 포트홀 등의 도로 위험과 원뿔형 도로 표시 등을 감지하기 위해 머신러닝을 활용하고 있다.

Mitsubishi Electric의 최신 콘셉트 시연 장치에서 선보인 제품은 2028년 이전 생산에 활용하는 것을 목표로 한다. Jafri는 “이 장치에 포함된 다양한 기술은 전기차와 내연기관차는 물론 첨단 운전자 보조 시스템(ADAS)과 인포테인먼트 용도에 적합하다”고 언급했다.