LinkedIn은 AI 기반의 더 스마트하고 빠른 채용 검색 경험을 제공하기 위해 학습 인프라를 혁신했습니다. 핵심은 여러 개의 전문화된 Teacher 모델로부터 지식을 전달받는 Multi-teacher Distillation 기술입니다. 기존에는 학습에 45시간 이상이 소요되었으나, 분산 학습(FSDP, HSDP)과 효율적인 캐싱 및 스트리밍 인프라를 도입한 결과, 학습 시간을 5시간 미만으로 약 8배 단축하는 데 성공했습니다. 이를 통해 모델의 정확도는 유지하면서도, low-latency 서비스가 가능한 가벼운 Student SLM을 빠르게 반복 실험하고 배포할 수 있는 환경을 구축했답니다.