[Waymo Motion Prediction] 웨이모 모션 예측 챌린지

구글 Waymo에서는 매년 다양한 챌린지를 진행하고 있습니다. 그중에서도 Motion Prediction 챌린지를 이번 딥러닝 과제로 수행하게 되면서 겪는 다양한 시행착오들을 기록으로 남겨보고자 합니다.

 

1. Waymo Open Dataset

웨이모에서 공개하는 데이터셋에 대한 자료를 볼 수 있습니다. 크게 Motion, Perception 으로 나누어볼 수 있겠네요. 

Motion은 말그대로 트랙킹 대상의 움직임에 대한 계측 데이터라고 볼 수 있습니다. Perception은 제가 상세히 보진 않았지만, 아마도 센서에서 얻는 정보를 통해 객체를 인지하는 데이터일 것으로 추정하고 있습니다. 즉, 이미지나 영상의 프레임 데이터, 라이다 데이터 등이 되겠네요.

홈페이지에서 퍼온 위 사진과 같이 데이터는 구성되어 있다고 합니다. Perception의 경우 1950 세그먼트에 대한 데이터가 제공되며, Motion 은 103,354개나 되는 세그먼트에 대한 오브젝트의 trajectory 및 3d map이 제공된다고 합니다.

 

 

2. Motion Prediction

제가 중점적으로 진행하려고 하는 부분은 바로 Motion Prediction 입니다. 최근 딥러닝을 공부하면서 비전 인식도 비전 인식이지만, 그보다는 원래 필자의 백그라운드인 역학적인 분야가 같이 섞인 것에 매력을 느꼈다고나 할까요. 공식 챌린지룰에 의하면, 1초 동안의 과거/현재 데이터를 통해 미래의 8초에 대한 최대 8개의 agent의 모션을 예측해야합니다.

 

처음엔 어떻게 시작해야할지, 컴퓨팅 리소스가 충분할지 등 우려사항이 많았는데 깊게 파볼수록 아예 불가능하진 않겠다고 생각이 되어 연재를 시작하게 되었습니다. 대체로 아래와 같은 순서로 진행해보고자 합니다.

 

• Waymo Official Tutorial - 쥬피터로 튜토리얼이 제공되고 있습니다. 기본적으로 어떻게 데이터를 다루고 학습시킬지 확인합니다.
• Dataset parsing & Extraction - 주어진 데이터 사이즈가 너무 방대하기 때문에 필요한 feature만 추출하는 방법입니다.
• Training - 딥러닝의 다양한 아키텍처를 활용하여 Motion Prediction을 해볼 수 있습니다.

크게 위 3단계로 나누어 진행하고자 하며, 각 과정에서 겪었던 다양한 시행착오들에 대해서도 정리해볼 예정입니다.