토스증권의 Machine Learning Engineer 정현규 님이 LLM과 ML 기술을 활용하여 신뢰할 수 있는 금융 투자 정보 서비스를 구축하는 과정에 대해 공유해 주셨습니다. 금융 데이터는 적시성, 정확성, 검증 가능성, 비정상성이 매우 중요하기 때문에 단순히 문장을 생성하는 것을 넘어 'AI가 말해도 되는 상태'를 만드는 것이 핵심입니다. 이를 위해 토스증권은 세 가지 관문을 운영하고 있습니다. 첫째, 정보를 입수할 때부터 분류하여 최적의 맥락을 제공하는 Context Engineering 단계입니다. 둘째, 서비스 요건에 맞춰 실행 경로를 제어하고 안정성을 높이는 절차형 오케스트레이션 단계입니다. 셋째, 정량적 측정이 가능하도록 구조화된 평가 체계를 구축하는 단계입니다. 특히 운영 중 발생하는 실패 사례를 데이터로 활용해 Few-Shot Retrieval에 적용함으로써 서비스 품질을 지속적으로 개선하고 있습니다. 결국 AI 서비스 엔지니어링의 핵심은 모델 자체보다 검색, 분류, 도메인 지식, 데이터, 운영 시스템을 아우르는 오케스트레이션에 있다는 인사이트를 전해줍니다.