이번 글에서는 수천에서 수만 개의 GPU를 활용한 대규모 분산 학습을 위한 AWS의 아키텍처와 인스턴스 확보 전략에 대해 자세히 알아봅니다. 먼저, 대규모 학습의 핵심인 네트워크 아키텍처를 두 가지로 나누어 설명합니다. UltraClusters는 수천 개의 EC2 GPU 인스턴스를 EFA(Elastic Fabric Adapter)를 통해 하나의 고성능 네트워크 패브릭으로 묶어, 노드 간 균일한 대역폭을 보장함으로써 병목 현상을 방지합니다. 반면, UltraServers는 NVLink를 사용하여 인스턴스의 경계를 넘어 GPU들을 물리적으로 직접 연결하며, 이를 통해 최대 72개의 GPU 메모리를 하나의 거대한 풀처럼 사용할 수 있게 해줍니다. 이 두 아키텍처는 서로 대체되는 것이 아니라, 통신 빈도와 모델 규모에 따라 상호 보완적인 계층 구조를 이룹니다. 또한, 수요가 매우 높은 고성능 GPU 인스턴스를 안정적으로 확보하기 위한 두 가지 전략인 ODCR(On-Demand Capacity Reservation)과 Capacity Block에 대해서도 다룹니다. 유연한 관리가 가능한 ODCR와 특정 기간을 미리 예약하는 Capacity Block의 차이점을 이해하면, 대규모 AI 모델 학습 시 비용 효율성과 자원 확보를 동시에 달성하는 데 큰 도움이 될 것입니다.