카카오뱅크의 LostCow 팀이 '2025 금융 AI Challenge'에서 우수상을 수상한 생생한 기술 후기를 전해드립니다! 이번 대회에서는 금융보안 지식을 이해하고 문제를 해결하는 LLM 모델 개발을 목표로 했는데요. 24GB VRAM이라는 제한된 환경 속에서 Qwen3-30B-A3B 모델을 선정하고, 법령과 가이드라인을 활용한 2단계 CPT(Continual Pre-Training) 전략을 통해 도메인 지식을 주입했습니다. 또한, catastrophic forgetting을 방지하기 위해 LoRA를 적용하고, BM25 기반의 RAG 기술과 Auto-Round 4bit 양자화, Structured Output 등을 통해 모델의 정확도와 효율성을 극대화했습니다. AI 엔지니어로서 제약 조건 속에서 최적의 솔루션을 찾아가는 흥미로운 여정을 확인해보세요!