콘텐츠

소름 끼치는 크롤러들

시장 인사이트 · GeekNews · 2026.08.30

최근 Linux 커널 개발 데이터를 수집하려는 AI 학습용 크롤러들 때문에 `git.kernel.org` 서버가 큰 어려움을 겪고 있습니다. 크롤러들이 효율적인 `git clone` 방식 대신, 각 커밋을 HTML로 렌더링하도록 요청하면서 서버 CPU 자원의 약 20%가 불필요한 작업에 소모되고 있기 때문인데요. 특히 AI 생성 데이터가 섞이지 않은 고품질의 'AI 이전 데이터'를 확보하려는 수요 때문에 이러한 공격이 지속되고 있습니다. 서버 측에서는 `Anubis`와 같은 작업증명(Proof of Work) 방식을 도입해 대응하고 있지만, 크롤러들이 주거용 프록시를 사용하거나 난이도 높은 계산 문제를 풀기 시작하면서 방어와 정상 사용자 편의성 사이의 균형이 중요한 과제로 떠오르고 있습니다.