우리가 AI와 대화할 때 발생하는 복잡한 내부 과정을 설명해 드려요. 사용자가 입력한 메시지는 바로 모델에 전달되는 것이 아니라, system prompt와 대화 기록 등이 포함된 하나의 '문서'로 재구성되는 context engineering 과정을 거칩니다. 또한, 모델은 이전 대화를 기억하지 못하는 stateless한 특성이 있어 매번 전체 맥락을 다시 읽어야 하며, 이 과정에서 발생하는 비용과 지연 시간(latency)의 원인도 함께 다룹니다. Tokenization, Prefill과 Decode 단계의 차이, 그리고 효율적인 서비스를 위한 Caching 및 Batching 기술까지, LLM 서비스가 어떻게 운영되는지 깊이 있게 이해할 수 있는 내용입니다. 더불어, 안전한 답변 생성을 위한 Guardrails 작동 방식과 Tool 사용 시 발생하는 루프 구조에 대해서도 상세히 다루고 있습니다.