AI Platform 추론 최적화 Engineer (경력·정규직)

• LLM 추론 엔진 기반의 AI 서빙 플랫폼 설계 및 최적화
• vLLM, SGLang, TensorRT-LLM 등 오픈소스 추론 엔진의 도입, 적용 및 운영
• LLM 추론 성능 향상을 위한 캐시, 배칭, 양자화, 커널 최적화 등 주요 기법 적용
• 분산 추론 전략 설계 및 구현 (Tensor / Pipeline / Expert / Sequence Parallelism, MoE 라우팅)
• 추론 워크로드의 latency, throughput, TTFT, TPOT 등 성능 지표 측정 및 개선
• Kubernetes 기반 LLM 서빙 인프라 구축, 운영 및 자동화
• 라우팅·오토스케일링·로드밸런싱·요청 스케줄링 등 서빙 시스템 기능 개발
• 코드 리뷰, 테스팅, 지속적인 통합(CI) 및 지속적인 배포(CD)를 통해 높은 품질의 서비스 제공