토스증권 Data Infra 팀에서 Kubernetes 기반의 GPU 클러스터를 구축하며 겪은 기술적 도전과 해결 과정을 공유하는 글입니다. 단순히 GPU를 인식하고 할당하는 'GPU-aware' 단계를 넘어, GPU의 상태를 정밀하게 판단하고 자원을 효율적으로 분할하여 사용하는 'GPU-native' 클러스터로 발전시켜 나가는 과정을 상세히 다루고 있습니다. GPU 스택 검증, DCGM Exporter를 통한 상태 관측, Xid Error 대응, 그리고 신규 노드 투입을 위한 preflight 검증과 MIG를 활용한 자원 배치 최적화 등 실제 운영 환경에서 마주하는 핵심적인 기술 과제들을 배울 수 있습니다.