LLM Engineer (Optimization) (경력·정규직)

• 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다.
• 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다.
• Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다.
• GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다.
• vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다.
• Speculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다.
• Quantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다.
• CUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다.
• GPU Memory 및 Kernel 효율을 분석하고 최적화합니다.
• Mobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다.
• CPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다.
• 제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다.
• 다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다.
• NVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다.
• 주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다.