Healthcare AI 시스템이 제대로 작동하는지 판단하기 위해서는 임상 전문가의 검증이 필수적이지만, 대규모 데이터를 모두 사람이 확인하기에는 한계가 있습니다. 이 글에서는 Included Health와 Abridge가 LangSmith를 활용해 전문가의 지식을 어떻게 지속 가능한 평가 자산(labeled datasets, calibrated evaluators)으로 변환하는지 설명합니다. 이를 통해 제품 출시 전 검증 단계(release gate)를 자동화하여 신뢰성을 높이고, 출시 주기를 획기적으로 단축하는 방법을 다룹니다. 또한 PHI(Protected Health Information)와 같은 의료 데이터 보안 이슈와 실제 운영 환경에서의 신뢰성 측정 지표에 대해서도 살펴볼 수 있습니다.