T4 GPU 1장으로 일궈낸 올리브영의 Gemma 3 기반 sLLM 구축기
스토리 · 올리브영 테크 · 2026.01.21
올리브영에서 Tesla T4 GPU 1장이라는 제한된 환경을 활용해, 상용 모델 못지않은 성능을 내는 sLLM(Small LLM)을 구축한 기술 사례를 소개합니다. 이 시스템은 사용자 리뷰 데이터를 분석하여 매력적인 '리뷰 테마 추천' 문구를 자동으로 생성하는 역할을 합니다. Gemma 3-4B 모델을 기반으로 SFT(Supervised Fine-Tuning)와 QLoRA 기법을 적용하여, 운영 비용은 획기적으로 낮추면서도 상용 모델 대비 약 95%의 높은 정확도를 확보했습니다. 프롬프트 최적화와 효율적인 학습 데이터 구축을 통해 제한된 자원에서도 고품질의 AI 서비스를 구현한 과정이 상세히 담겨 있습니다.