인공지능 월드모델은 실제 세계의 물리적, 시공간적 정보를 학습해 세상을 이해하고 예측하는 강력한 시스템입니다. 이 월드모델을 만들기 위해서는 어떤 종류의 데이터가 필요한지, 그리고 그 데이터를 어떻게 모으는지가 매우 중요합니다. 이번 글에서는 월드모델의 학습 데이터 종류와 대표적인 수집 방법을 체계적으로 설명해드리겠습니다.
목차
- 월드모델 학습에 사용되는 데이터 종류
- 1. 시각 데이터 – 이미지 및 비디오
- 2. 센서 데이터 및 시계열 데이터
- 3. 시뮬레이션 및 시뮬레이터 기반 데이터
- 월드모델 데이터 수집 방법
- 1. 실제 환경에서의 관측 데이터 수집
- 2. 시뮬레이터 활용 데이터 수집
월드모델 학습에 사용되는 데이터 종류
월드모델은 기존 언어모델(LLM)과 달리 텍스트가 아닌 공간, 물리, 행동과 관련한 복합적인 정보를 학습합니다. 주로 다음 세 가지 유형의 데이터를 활용합니다.
- 시각 데이터 : 이미지와 비디오. 환경의 시공간적 정보를 담은 고차원 원시 픽셀 데이터를 압축해 사용합니다.
- 센서 및 시계열 데이터 : 거리, 움직임, 힘, 속도, 온도 등 다양한 센서에서 나오는 연속적인 신호 정보.
- 시뮬레이션 데이터 : 가상 환경에서 생성된 행동-관찰 기록. 월드모델의 미래 예측과 시뮬레이션에 활용됩니다.
1. 시각 데이터 – 이미지 및 비디오
월드모델에서 Vision 모델(V 모델)이 담당하는 역할은 실제 환경의 복잡한 시각 정보를 저차원 잠재 벡터(latent vector)로 압축하는 것입니다. 원시 사진의 픽셀 단위 정보 대신, ‘특정 물체가 존재한다’, ‘어느 방향을 향해 있다’와 같이 추상화된 특징을 학습하도록 설계합니다.
예를 들어, 고양이의 일부 모습을 관찰하고 그 가려진 머리 부분을 추론하는 식으로, 세부 묘사가 아닌 공간적 특성과 인과관계를 이해합니다.
2. 센서 데이터 및 시계열 데이터
월드모델은 다양한 센서에서 발생하는 시계열 데이터를 활용해 환경의 시간적 변화를 모델링합니다. 이는 온도, 위치, 힘, 관성 데이터처럼 다양하고 연속적인 형태입니다. 주로 MLP(다층 퍼셉트론)이나 시계열 인코더 구조를 통해 잠재 공간에 매핑됩니다.
3. 시뮬레이션 및 시뮬레이터 기반 데이터
초기 단계에서는 현실 환경 데이터 수집의 어려움을 보완하기 위해 시뮬레이터를 통해 인공적으로 데이터를 생성합니다. 시뮬레이터에서 행동(A), 관측(O), 보상(R) 등의 상태 변화 기록(trajectory)을 반복 샘플링하여 데이터 양을 늘릴 수 있습니다.
시뮬레이션 데이터는 노이즈나 불완전한 현실 데이터를 다룰 때 나타나는 문제를 사전에 완화하는 효과도 있습니다.
월드모델 데이터 수집 방법
월드모델 구축에 필요한 데이터를 확보하기 위한 대표적인 수집 방법을 소개합니다.
1. 실제 환경에서의 관측 데이터 수집
- 카메라, 라이다, 온도 센서 등 다양한 센서를 설치해 실제 환경에서 연속적으로 관찰 데이터를 수집합니다.
- 게임 플레이 환경에서는 픽셀 단위 화면 캡처와 사용자의 입력 데이터(행동)를 함께 기록합니다.
- 수집 과정에서 데이터 전처리를 통해 필터링, 노이즈 제거 및 중복 제거 작업을 진행해 데이터 품질을 확보합니다.
2. 시뮬레이터 활용 데이터 수집
- 복잡한 현실 세계 대신 가상환경 시뮬레이터를 통해 대량의 데이터(관찰, 행동, 상태 변화)를 자동으로 생성합니다.
- 시뮬레이터는 강화학습이나 정책 최적화에도 활용되며, 현실에서 얻기 어려운 희귀 상황 데이터를 만드는 데 용이합니다.
- 초기 월드모델 학습에는 시뮬레이터 데이터가 특히 유리하며, 이후 현실 데이터로 보완하는 방식이 일반적입니다.
월드모델 데이터 준비 시 주의사항
데이터 수집과 전처리 과정에서 다음 사항을 반드시 고려해야 합니다.
- 데이터 품질 관리 : 중복 제거, 분류, 주석 작업 등으로 정확하고 깨끗한 데이터 확보
- 불확실성 표현 : 확률적 잠재변수 모델 사용 시, 현실에서 일어날 수 있는 다양한 상황을 반영하는 것이 중요
- 다중 모달 통합성 : 시각, 센서, 행동 데이터 등 다양한 종류를 연결하여 모델에 공급
관련 영상 참고