LLMOps Engineer (경력·정규직)

• 실제 업무 시나리오를 반영한 평가 기준을 설계하고, 여러 LLM의 품질·비용·응답 속도·안전성을 비교하여 서비스에 적합한 모델을 선정합니다.
• LLM Gateway, AI Agent 프레임워크, 평가·모니터링 도구 등 오픈소스와 상용 소프트웨어를 비교·검증하고 도입을 주도합니다.
• 평가 데이터와 기준을 구축하고, 자동 평가와 사람의 검토를 결합하여 모델 변경 전후의 품질과 성능을 검증합니다.
• LLM Gateway의 모델 및 공급자 등록, 모델 라우팅, 장애 전환, 캐싱, 사용량 제한 정책을 관리하고 운영 상태를 모니터링합니다.
• 모델·조직·기능별 토큰 사용량과 비용을 분석하고, 프롬프트·컨텍스트·캐싱·모델 선택 정책을 최적화하여 작업당 비용을 절감합니다.
• 품질 저하, 개인정보 노출, 정책 위반 및 프롬프트 공격 등 AI 서비스의 이상 징후와 보안 위험을 탐지하고 대응 체계를 개선합니다.
• 관련 조직과 협업하여 모델 사용 기준과 접근 권한을 수립하고, 모델 도입·변경·종료 과정과 평가 결과 및 변경 이력을 관리합니다.