LinkedIn에서 개발한 AI 기반 자율 테스트 시스템인 'QA Agent'에 대한 소식입니다. LinkedIn은 iOS, Android, Web 등 다양한 플랫폼과 수많은 UI 조합으로 인해 발생하는 복잡한 테스트 문제를 해결하기 위해, 기존의 스크립트 방식 대신 Vision-Language Models (VLMs)를 활용한 디지털 테스터인 'QA Agent'를 구축했습니다. 이 시스템은 사람이 화면을 보는 것처럼 UI를 인식하여 복잡한 end-to-end 워크플로우를 수행할 수 있습니다. 특히 효율적인 운영을 위해 'System 1'(기존의 성공한 경로를 빠르게 재현하는 방식)과 'System 2'(새로운 화면이나 변경된 레이아웃을 시각적으로 분석하고 계획을 세우는 방식)라는 하이브리드 아키텍처를 사용합니다. 또한, 테스트의 정확도를 높이기 위해 View Tree Evaluator와 같은 다양한 guardrails를 도입하고, 'Golden dataset' 프레임워크를 통해 테스트 결과를 정밀하게 검증합니다. 이러한 혁신을 통해 LinkedIn은 개발자가 아닌 사람들도 자연어로 테스트를 작성할 수 있는 환경을 조성하여 품질 관리의 문턱을 낮추었으며, 이미 200개 이상의 유효한 버그를 찾아내는 등 실질적인 성과를 거두고 있습니다.