안녕하세요! 오늘은 Amazon EKS 환경에서 GPU 워크로드를 운영하며 겪은 기술적인 트러블슈팅 사례를 소개해 드릴게요. 인프런에서 AI 기반 업스케일링 작업을 위해 GPU 클러스터를 운영하던 중, Karpenter의 Node Auto-Repair 기능을 활성화하자 GPU 노드가 10~11분마다 계속해서 교체되는 문제가 발생했습니다. 원인을 분석해 보니, Bottlerocket AMI 환경에서 NVIDIA DCGM 라이브러리인 libdcgm.so가 누락되어 있어, Kubernetes가 GPU 하드웨어를 사용할 수 없는 상태(AcceleratedHardwareReady=False)로 판단했기 때문이었어요. 이 문제를 해결하기 위해 저자는 Karpenter의 Node Auto-Repair 기능을 비활성화하는 방안을 최종 선택했습니다. GPU 인스턴스를 사용하면서 노드 교체 문제가 발생한다면 이 사례를 참고해 보세요!