OpenWiki는 코드베이스 documentation을 생성하고 유지 관리하는 open source agent입니다. LangChain 팀은 OpenWiki가 coding agents에게 실제로 도움이 되는지, 그리고 업데이트를 통해 성능이 개선되고 있는지를 측정하기 위해 WikiBench라는 benchmark를 개발했습니다. WikiBench는 'reader agent'가 생성된 wiki와 source code를 바탕으로 질문에 답하는 방식을 통해 성능을 평가합니다. 실험 결과, wiki를 source code와 함께 사용할 때 agent가 더 정확하고 비용 효율적으로 질문에 답변할 수 있음을 확인했습니다. 이를 통해 다양한 model과 framework의 성능을 비교하고 OpenWiki를 지속적으로 발전시키는 데 활용하고 있습니다.