올리브영의 AI Pick 추천 카드 생성 모델을 고도화하는 과정에서 겪은 기술적 도전과 해결 방안을 다루고 있습니다. SFT(Supervised Fine-Tuning)만으로는 해결하기 어려웠던 문장의 자연스러움, 문맥적합성, 그리고 엄격한 형식 준수라는 세 가지 문제를 해결하기 위해 'Alignment Learning'을 도입한 과정이 핵심입니다. 특히 NLL(Negative Log-Likelihood) 지표를 활용해 품질을 수치화함으로써, 사람의 개입 없이도 DPO(Direct Preference Optimization)와 GRPO(Group Relative Policy Optimization)를 위한 선호 데이터를 자동으로 생성하는 체계를 구축했습니다. 이를 통해 품질과 형식 사이의 trade-off를 관리하며 모델을 개선해 나가는 실무적인 방법론을 상세히 설명하고 있습니다.