대형언어모델(LLM)이 사실과 다른 답변을 내놓는 '환각' 현상의 상당수가 모델에 지식 자체가 없어서가 아니라, 이미 저장된 정보를 제대로 꺼내지 못하는 '기억 인출 실패' 때문이라는 연구 결과가 나왔습니다. 구글 리서치와 이스라엘 테크니온 연구진은 최첨단 LLM들이 대부분의 지식을 파라미터 내에 인코딩하고 있음에도, 질문 방식이나 표현에 따라 해당 정보에 접근하지 못하는 'Lost Keys' 현상을 규명했습니다. 연구 결과, 단순히 모델의 규모를 키우는 것보다 AI에게 '생각할 시간(Reasoning)'을 부여하는 것이 저장된 지식을 회수하는 데 더 효과적인 '인출 촉진제' 역할을 하는 것으로 나타났습니다. 따라서 기업들은 환각을 줄이기 위해 무조건 RAG를 도입하기보다, 발생한 오류가 '지식 부재'인지 '접근 실패'인지를 먼저 진단하는 전략이 필요합니다.