Meta의 AI 워크로드 최적화를 위한 BLOB-storage 아키텍처 혁신
시장 인사이트 · Meta 테크 · 2026.07.02
AI 모델의 규모가 급격히 커지면서 GPU 성능만큼이나 데이터를 빠르게 읽어오는 storage의 역할이 매우 중요해졌습니다. Meta는 기존의 storage 아키텍처가 AI 워크로드에서 발생하는 latency와 데이터 이동 문제를 해결하기 어렵다는 점을 파악하고, 이를 근본적으로 재설계했습니다. 주요 변화로는 metadata subsystem을 통합하여 lookup 속도를 높이고, dataplane proxy를 제거해 client가 storage server에서 직접 데이터를 스트리밍할 수 있도록 했습니다. 또한, GPU host의 메모리를 활용한 distributed data cache와 tiered caching 아키텍처를 도입하여 데이터 로딩 속도를 획기적으로 개선했습니다. 이를 통해 연구자들이 데이터를 옮기는 데 시간을 허비하지 않고 모델 튜닝에 집중할 수 있는 환경을 구축했습니다.