자율주행차, 이제 말로 움직인다? LMDrive로 본 언어 기반 운전의 미래

LMDrive로 엿보는 자율주행의 새로운 이야기

들어가며

• 자율주행 기술의 발전 속도는 점점 빨라지고 있음
• LMDrive는 CVPR 2024에서 소개된 주목할 만한 연구임
• 본 글은 딥러닝 논문 읽기 모임 발표를 바탕으로 내용을 정리함

요즘 진짜 자율주행 기술, 하루가 다르게 바뀌는 거 아시죠? 저는 처음엔 그냥 '기계가 운전하는구나~' 했는데, 이번에 CVPR 2024에 나온 LMDrive를 보고는 생각이 좀 바뀌었어요. 조금 더 사람 냄새 나는 자율주행 이야기를 들려드릴게요.

 

핵심 질문: 언어 모델로 운전이 가능할까?

 

핵심 질문: 언어 모델로 운전이 가능할까?

• LMDrive는 자연어만으로 자율주행 시스템을 구성할 수 있는지를 탐구함
• 기존 시스템은 고정된 입력 포맷에 의존해 유연성이 부족함
• LLM을 활용해 차량이 직접 행동하도록 연결하는 방식을 제안함

자, 한 번 상상해 보세요. "저기 좌회전해 주세요"라고 말하면 차가 알아듣고 그대로 움직이는 거예요. 너무 공상과학 같다고요? LMDrive는 바로 이걸 실현하려고 해요. 기존 자율주행은 입력값도 딱 정해져 있고, 뭔가 융통성 없이 돌아가는 느낌이 있었잖아요. 그런데 이건 언어 모델, 즉 우리와 대화할 수 있는 AI가 직접 차를 조종하는 거예요. 너무 신기하지 않나요?

 

 

LMDrive의 비전

• 최근 LLM의 인지적 능력이 향상되며 자율주행에의 응용 가능성 제시
• LMDrive는 인간의 명령을 이해하고 안전하게 주행할 수 있는 시스템을 추구함
• 자연어로 주어진 위험 경고에 실시간 반응하는 차량을 목표로 함

제가 예전에 친구랑 차 타고 가다가, 갑자기 "조심해! 저기 고양이야!" 했던 기억이 있는데요, LMDrive는 그런 말까지도 알아듣고 브레이크를 밟아주는 차를 만들자는 거예요. 단순히 길만 잘 찾는 게 아니라, 실제 상황에 맞춰 사람처럼 반응하는 거죠. 진짜 사람 같은 AI 운전자, 이게 가능할지도 모른다는 게 이번 연구의 핵심이에요.

 

연구의 핵심 포인트

 

연구의 핵심 포인트

LMDrive는 여러 요소를 통합한 혁신적인 시스템입니다:

1. 자연어 기반의 엔드투엔드 자율주행 구조 구현
2. 카메라, 라이다, 음성 및 텍스트 명령 데이터를 함께 활용
3. 64,000개의 주행 클립으로 구성된 새로운 데이터셋 구축
4. LangAuto라는 벤치마크를 통해 자연어 인식 및 실행 능력 평가

 

 

기존 문제들, 어떻게 풀었을까?

• 기존 시스템은 모듈 분리가 심해 훈련과 실환경 적용에 한계가 있음
• 다양한 오류와 변화에 유연하게 대처하지 못함
• LMDrive는 하나의 통합 모델로 구조를 단순화하고 실시간 명령 생성이 가능하도록 설계됨

이전에 제가 알던 자율주행 기술은 마치 커다란 기계식 시계 같았어요. 퍼즐처럼 서로 맞물리는 부품들이 너무 많고, 하나만 고장 나도 전부 멈추는 느낌이랄까요? LMDrive는 그런 복잡한 구조를 좀 더 간단하게 만들었어요. 사람처럼 보고 듣고 판단하는 걸 한 모델로 처리하니까 훨씬 유연하고 자연스러워졌다고 해요.

 

새로운 데이터셋의 구성

 

새로운 데이터셋의 구성

• 데이터는 센서 정보, 내비게이션 명령, 사람의 주의 인스트럭션 세 가지로 구성됨
• CARLA 시뮬레이터를 사용해 다양한 주행 클립을 생성함
• GPT로 명령어를 다양화하고, 복잡한 시나리오도 포함시킴

이거 듣고 진짜 흥미로웠는데요, LMDrive는 단순한 길찾기만으로는 부족하다는 걸 알고 있어요. 그래서 “오른쪽에 애기 있다”, “조금 천천히 가자” 같은 말도 이해해야 하니까, 그런 말들을 담은 데이터셋을 아예 새로 만들었대요. 게다가 다양한 표현으로 말할 수 있도록 GPT로 돌려서 자연어 다양성도 챙겼다니까요. 진짜 꼼꼼하죠?

 

 

LMDrive의 작동 방식

• 시스템은 비전 인코더와 언어 모델 시스템 두 부분으로 구성됨
• 비전 인코더는 시각 데이터를 토큰화해 모델이 이해 가능하게 함
• 언어 모델은 명령어와 시각 정보를 종합해 주행 제어 신호를 생성함

쉽게 말하면, LMDrive는 보는 눈과 말귀를 알아듣는 귀를 하나로 합쳐서 차를 움직이게 하는 거예요. 여러 카메라랑 라이다 센서로 수집한 정보를 똑똑하게 처리한 다음, LLaMA라는 모델이 그걸 이해해서 “자, 이제 오른쪽으로 살짝 가자~” 하고 지시하는 거죠. 마치 동승자랑 대화하듯이 말이에요.

 

학습 방식

 

학습 방식

• 비전 인코더는 사전 학습 후 고정되어 일관된 피처 추출을 유지함
• 과거 프레임과 현재 명령어를 활용한 판단이 이뤄짐
• 다양한 손실 함수를 통해 예측 정확도와 명령 수행 능력을 동시에 향상시킴
• 잘못된 명령어에도 유연하게 대응할 수 있도록 학습됨

여기서 또 인상 깊었던 부분은, “틀린 말”을 일부러 넣어서 훈련시켰다는 거예요. 예를 들면 “직진해”라고 해놓고 바로 앞에 장애물이 있는 상황이죠. 근데도 이 모델은 상황 파악을 하고 스스로 멈추는 거예요. 마치 “아니, 지금 직진하면 안 되잖아~” 하고 대답할 것 같은 느낌이랄까요.

 

 

LangAuto 평가 시스템

LangAuto는 다음과 같은 능력을 평가합니다:

• 자연어 기반 명령의 이해
• 복잡하거나 긴급한 상황에서의 경고 인식
• 길고 복잡한 명령 시퀀스 처리

실제로 테스트도 해봤는데요, 그냥 “우회전” 이런 단순한 명령만 들어가는 게 아니라, “다음 교차로에서 좌회전하고 500미터 후에 다시 우회전”처럼 꽤 복잡한 것도 있어요. 사람이 말을 길게 하면 어쩔 수 없이 복잡해지잖아요? 그걸 얼마나 잘 따라가는지를 체크한 거죠.

 

결과와 주요 인사이트

 

결과와 주요 인사이트

• LLaMA 1.5 모델이 가장 높은 성능을 기록함
• 무작위 초기화 모델은 성능이 현저히 떨어짐
• 특정 모듈 제거 시 성능 저하가 뚜렷하게 나타남
• 노티스 인스트럭션의 활용은 충돌 및 법규 위반 감소에 효과적이었음
• 긴 명령어 시퀀스에 대한 대응은 아직 부족하여 추가 연구 필요

실험 결과도 꽤 흥미로웠어요. 특히 LLaMA 1.5라는 모델이 거의 독보적이었다는 건데, 역시 뭐든지 준비가 잘 되어 있어야 잘하는 거죠. 반대로 무작정 훈련시킨 모델은 실수도 많고, 복잡한 명령도 잘 못 따라갔다고 해요. 아직은 갈 길이 멀지만, 그래도 방향성은 분명해 보였어요.

 

마무리하며

 

마무리하며

• LMDrive는 LLM을 활용한 새로운 자율주행 가능성을 보여줌
• 자연어 기반 상호작용으로 직관적이고 안전한 주행 실현 가능성 제시
• 고정된 모델과 시각 데이터 통합으로 현실 대응력을 강화함

한마디로 말해서, LMDrive는 “사람처럼 말귀 알아듣는 자율주행차”를 만들고 있어요. 듣고 보고 생각하는 능력을 모두 가진 운전자, 상상만 해도 멋지지 않나요? 아직 완벽하진 않지만, 저 같으면 당장이라도 이런 차 타보고 싶어요. 그리고 무엇보다, 기술이 사람과 더 가까워지고 있다는 게 가장 설레는 부분이에요.