LLM(Large Language Model) 시스템을 실제 서비스에 적용할 때 가장 큰 어려움은 모델의 비결정론적(non-deterministic) 특성 때문에 발생하는 평가의 불확실성입니다. Airbnb는 이를 해결하기 위해 네 가지 계층(layer)으로 구성된 신뢰할 수 있는 LLM 인프라를 구축했습니다. 첫째, 데이터와 판단의 불확실성을 구분하여 노이즈를 진단합니다. 둘째, 캐싱 기술을 활용해 평가 과정을 결정론적(deterministic)으로 만들어 재현성을 확보합니다. 셋째, LoRA를 활용한 'micro adapter'를 통해 모델 전체를 재학습하는 대신 특정 버그만 빠르게 수정합니다. 마지막으로, 각 컴포넌트 사이의 연결 부위(seams)에서 발생할 수 있는 문제를 방지하기 위해 엔드 투 엔드(end-to-end) 검증을 수행합니다. 결국 LLM 시스템의 안정성은 모델 자체보다, 구성 요소들이 만나는 지점에서의 정교한 시스템 엔지니어링에 달려 있다는 점이 핵심입니다.