지난 11월 16일, 현대엔지비는 글로벌 자연어처리 권위 학회인 EMNLP(Empirical Methods Natural Language Processing)에서 '자동차 산업 분야 특화 주요 논문 랭킹 모델'이라는 주제로 논문을 투고하여 포스터 발표를 진행했습니다. 이번 연구는 자동차 산업에 특화된 논문 평가 및 랭킹 모델 개발로, TRM 유망 기술 평가의 정밀도를 높이고 프로세스 효율성을 극대화하는 것을 목표로 했습니다.

EMNLP 2024: NLP 분야 최고 권위 학회

EMNLP는 ACL(Association for Computational Linguistics)과 더불어 자연어처리(NLP) 분야에서 세계적인 권위를 자랑하는 학회입니다. 2024년 EMNLP의 주요 통계에 따르면, 본 학회의 승인율은 워크숍 세션 포함 약 16.86%에 불과하며, 메인 트랙(Main Track)의 승인율도 20.8%로 높은 진입 장벽을 보여줍니다.

연구 목표: 자동차 산업 논문 평가 모델 고도화

현대엔지비는 TRM 기반 유망 기술 평가의 정밀성과 효율성을 높이기 위해 다음과 같은 목표를 설정했습니다. 먼저, AI를 활용해 상위 평가 기술의 품질을 향상시키고, 정성적 판단을 최소화하여 평가 프로세스를 보다 간소화를 목표로 하였습니다. 또한, 유망 논문을 선정할 때 담당 기술 분야와 무관한 노이즈 논문을 제외함으로써 분석의 정확도를 높이고, 노코딩이 가능한 사용자 친화적인 UI 시스템을 구축하여 분석 프로세싱을 최적화하고자 했습니다.

연구 주요 내용

현대엔지비는 자동차 산업에 특화된 논문 랭킹 모델(EPR, An Expert Behavior-enhanced Paper Ranking Framework for the Automotive Industry)을 개발했습니다. 이번 연구는 기존의 인용 트렌드 등 외부 요인을 반영한 보다 정밀한 논문 랭킹 시스템을 구축하고, 자동차 산업 도메인에 특화된 문맥을 반영할 수 있는 언어 모델의 필요성에서 출발했습니다.

● 원문 링크: 링크

● 주요 Contribution:

1. 7가지 주요 Features 최적화(다중공선성 등 요소 분석)

- 연구 점유율, 시계열 추세, 연구 최신성, 연구 영향력, 기업 집중도, 저자 영향력(H-Index), 학회 영향력(SJR)

2. V-Paper 데이터셋 개발

- 자동차 전문가 레이블 기반

3. V-BERT-Specter 언어 모델 개발

- 자동차 논문, Citation DB를 활용해 Fine Tuning한 언어 모델

4. Retrieval 기반 CAR 랭킹 최적화 프레임워크

- Sparse(BM25) Retrieval 사용

● 프레임워크 구성:

○ Sparse Retrieval 기반 BM25로 주요 논문 후보군 추출(Input: Paper, keyword query)

○ V-BERT-Specter 언어 모델 기반 Text Embedding

○ Expert-Behavior(7가지 주요 feature) 대상 FastText 활용

○ CAR 모델 기반 Concat 및 앙상블 과정을 통해 최적 랭킹 도출(CAR, RankNET, GSF 등 다양한 모델을 대상으로 성능 평가 및 Ablation Study 수행 최적화 결과)

● 모델 성능:

○ 선택된 Expert-Behavior 성능 분석

- 선택된 Expert-Behavior의 성능이 기존 기본 모델 대비 월등히 높은 결과를 보여 제안된 모델에서 사용된 Feature 최적화가 효과적임을 증명

○ EPR 모델 성능 개선

- EPR 모델의 성능은 66.7%로, 개별 모델을 사용할 때보다 성능이 크게 향상됨

- 특히 CAR 모델 기준으로는 42.8%의 성능 증가율을 기록, 제안된 프레임워크의 실효성을 입증

발표 후기 및 반응

EMNLP 2024에서 현대엔지비의 발표는 참관자들로부터 큰 관심을 받았습니다. 특히 V-Paper 데이터셋과 모델 앙상블 과정의 Dimension 구조에 대한 기술적인 질문이 다수 이어졌으며, 러시아를 포함한 다양한 국가의 논문이 포함되는지, 정보가 적은 최신 논문의 유망성을 예측할 수 있는지에 대한 날카로운 질문들도 제기되었습니다. 이와 함께 학회 현장에서 관련 분야의 박사, 교수, 기업 임직원들과 교류하며 다양한 관점을 수렴하고 협력 가능성을 모색하는 등 의미 있는 네트워킹 성과를 거두었습니다.

현대엔지비는 '자동차 산업 특화 유망 논문 랭킹 모델' 연구에 그치지 않고, 앞으로도 모델 고도화를 통해 AI 기술의 실질적 활용과 업무 효율성을 더욱 높여갈 계획입니다.

이를 통해 최신 AI 동향을 반영한 연구 역량 강화와 기술 중심 기업으로서의 위상을 공고히 하며, TRM 평가 모델의 고도화를 통해 내부 및 외부에서 AI 기술 성과를 효과적으로 전달할 수 있도록 노력할 것입니다.

발표 영상(일부)