최근 연구에 따르면 OpenAI, Anthropic, Google과 같은 주요 LLM 제공업체들이 사용하는 암호화된 reasoning block에서 심각한 보안 취약점이 발견되었습니다. 모델이 최종 답변을 내놓기 전 거치는 reasoning trace는 문제 해결 과정과 중간 가설, 도구 호출 결과 등 매우 상세한 정보를 포함하고 있습니다. 현재 제공업체들은 보안과 비용 절감을 위해 이 reasoning trace를 암호화하여 클라이언트에 전달하고 있는데, 연구자들은 이 암호화된 블록을 더 저렴한 모델에 입력하면 원래의 추론 내용을 평문으로 추출할 수 있다는 사실을 밝혀냈습니다. 이러한 취약점은 여러 가지 공격으로 이어질 수 있습니다. 모델의 지식을 탈취하는 distillation, 유해한 주제에 대한 추론을 끌어내는 jailbreaking, 그리고 개발자들이 공개한 로그에서 API key나 비밀번호 같은 민감 정보가 유출되는 문제 등이 있습니다. 연구진은 이를 해결하기 위해 암호화된 데이터에 사용자 식별자를 포함하거나, 세션과 결합하는 hash chain 방식 등의 방안을 제안했습니다.