LLM(대규모 언어 모델)이 인간의 의도에 맞게 학습되는 과정을 다룬 기술적인 가이드입니다. 모델은 크게 Pretraining, Supervised Fine-Tuning(SFT), 그리고 Preference Learning이라는 세 단계를 거쳐 완성됩니다. 이 글에서는 인간의 피드백을 활용하는 RLHF 방식과, 이를 더 효율적으로 개선한 DPO 방식의 메커니즘을 상세히 비교하여 설명합니다. 또한, 보상 모델에 과도하게 최적화되어 발생하는 Reward Hacking이나 Sycophancy 같은 부작용, 그리고 최근 DeepSeek의 사례처럼 수학이나 코드 검증을 통해 정확한 보상을 제공하는 Verifiable Rewards 기술의 흐름까지 깊이 있게 안내해 드립니다.