목차
- 월드모델(World Model)이란?
- VAE (Variational Autoencoder)의 원리와 구조
- MDN-RNN (Mixture Density Network – Recurrent Neural Network) 이해하기
- 월드모델 내 VAE와 MDN-RNN의 역할과 통합
1. 월드모델(World Model)이란?
월드모델은 현재 상태(state)와 행동(action)을 입력으로 받아 다음 상태에 대한 확률분포를 예측하는 생성 모델입니다. 이를 통해 환경에서 무작위로 움직이며 경험을 쌓고, 그 경험을 바탕으로 새로운 작업을 처음부터 스스로 학습할 수 있게 하는 것이 핵심 아이디어입니다.
즉, 환경의 규칙과 변화 패턴을 모델 내부에 이해시키는 데 목적이 있으며, 이를 실제 강화학습이나 에이전트 행동에 적용해 효과적으로 정책을 설계할 수 있게 합니다.
“새로운 환경에서 처음부터 훈련하는 대신, 과거 환경을 월드모델로 학습해 빠르고 효율적인 적응이 가능해집니다.”
2. VAE (Variational Autoencoder)의 원리와 구조
VAE는 단순 오토인코더(Autoencoder)의 한계를 뛰어넘어 생성 모델로서 의미 있는 잠재 공간(latent space)를 학습하는 확률론적 모델입니다. 입력 데이터를 낮은 차원의 확률 분포 형태로 인코딩하며, 인코더는 입력으로부터 평균(μ)과 분산(σ²)을 예측해 잠재 공간을 확률적으로 표현합니다.
- 인코더(Encoder): 입력 데이터를 압축해 잠재 변수 z의 분포 파라미터(평균과 분산)를 출력합니다.
- 리파라미터라이제이션 트릭: 확률변수 z를 미분 가능하도록 재구성해, 평균과 분산을 이용해 정규분포에서 샘플링을 수행합니다.
- 디코더(Decoder): 잠재 변수 z를 입력받아 원래 데이터와 같은 형식의 출력을 생성합니다.
VAE는 입력과 출력이 같도록 재구성 오류(Reconstruction Loss)를 최소화하는 동시에, 학습된 잠재 분포가 표준 정규분포와 가깝도록 KL 발산(Kullback-Leibler divergence) 항을 줄이는 ELBO (Evidence Lower Bound) 최적화를 수행합니다.
이로 인해, 잠재 공간은 연속적이며 의미 있는 구조가 형성되어, 잠재 벡터를 선형보간하거나 무작위로 샘플링해 새롭고 다양성이 있는 데이터를 생성할 수 있습니다.
3. MDN-RNN (Mixture Density Network – RNN) 이해하기
MDN-RNN은 시간에 따른 상태 변화를 모델링하기 위해 사용되는 구조로, 두 가지 핵심 요소를 결합했습니다.
- RNN (Recurrent Neural Network): 과거의 시퀀스 정보를 기억해 시계열 데이터를 예측합니다. 이는 시간 의존성이 강한 문제에서 매우 효과적입니다.
- MDN (Mixture Density Network): 다음 상태의 확률분포를 여러 개의 가우시안 분포 혼합 형태로 모델링해 불확실성과 다양성을 표현합니다.
MDN-RNN은 VAE가 인코딩한 잠재 벡터를 입력으로 받고, 시간 흐름에 따른 다음 잠재 상태들의 확률분포를 예측하며, 이를 샘플링해 다음 상태를 생성합니다.
4. 월드모델 내 VAE와 MDN-RNN의 역할과 통합
월드모델은 복잡한 환경을 내재적으로 학습하여 에이전트가 환경에 대한 모델을 스스로 구축하도록 설계되었습니다. 여기에는 크게 세 가지 구성요소가 포함됩니다.
- VAE: 환경의 감각 데이터(예: 이미지)를 잠재 벡터 형태로 인코딩하는 역할을 합니다. 인코더는 정규분포 매개변수를 예측하고, 디코더는 이를 기반으로 원래 데이터의 재구성을 담당합니다. 이 과정을 통해 환경 상태가 압축된 벡터로 표현됩니다.
- MDN-RNN: VAE가 인코딩한 잠재 벡터를 시간 축상에서 받아 다음 상태의 잠재 벡터를 확률분포 형태로 예측합니다. 이것은 환경의 동적 변화를 모델링하여 미래 상태를 효과적으로 추론할 수 있게 합니다.
- 컨트롤러(Controller): VAE와 MDN-RNN이 산출한 벡터를 입력받아 행동(예: 회전, 가속, 브레이크)을 결정하는 완전 연결층(fully-connected layer)으로 구성되어 있습니다.
이러한 통합 구조는 VAE의 확률론적 인코딩과 MDN-RNN의 시퀀스 예측 능력을 결합하여 에이전트가 가상의 현실(World Model) 내에서 시뮬레이션 학습을 수행할 수 있도록 합니다.
“VAE가 핵심 환경 정보를 압축하고, MDN-RNN이 그 확률적 변화를 다룬다. 이를 통해 효율적인 강화학습이 가능해집니다.”
추가 설명: 월드모델 사용 예시
월드모델 구조는 주로 복잡한 환경 내에서 에이전트가 직접 행동하며 데이터를 모으는 대신, 월드모델 내에서 환경 시뮬레이션을 통해 빠른 정책 탐색과 시험을 가능하게 해 강화학습 효율을 획기적으로 향상시킵니다.