[빅테크칼럼] “AI 봇 300% 폭증, 트래픽은 96% 증발”…출판·언론 덮친 ‘무임승차 인터넷’의 역습

[뉴스스페이스=이종화 기자] 아카마이가 2026년 4월 발표한 최신 ‘인터넷 현황(State of the Internet)’ 보고서가 디지털 출판 생태계의 구조 변화를 적나라하게 드러냈다. 2025년 한 해 동안 AI 기반 봇 활동이 전년 대비 300% 급증한 가운데, 가장 큰 직격탄은 전통 언론사와 온라인 출판사에 떨어졌다는 것이 보고서의 핵심 진단이다. searchengineland, Intelligent CISO, AKAM Stock News, theglobeandmail, moomoo가 밝힌 보고서 ‘Protecting Publishing: Navigating the AI Bot Era’에 따르면, 미디어 산업(방송·뉴스·출판 포함)은 전 세계 AI 봇 트래픽의 13%를 흡수하며 업종별 타깃 가운데 두 번째로 큰 공격면을 형성했다. 이 가운데 언론사와 출판 플랫폼을 포함한 출판 부문이 미디어를 겨냥한 AI 봇 활동의 40%를 혼자 떠안은 것으로 나타났다. 특히 오픈AI(OpenAI)가 생성한 미디어 타깃 AI 봇 트래픽에서 출판사가 차지하는 비중이 40%에 달했다는 수치는, 생성형 AI 시대의 주요 ‘원천 데이터 창고’가 누구인지를 극명하게 보여준다. 미국 매사추세츠주 케임브리지에 본사를 둔 아카마이는 전 세계 인터넷 트래픽의 상당 부분을 ‘뒤에서’ 떠받치는 미국계 콘텐츠 전송·클라우드 보안 기업이다. 전 세계 웹 트래픽 중 15~30%를 처리하는, 세계 최대 수준의 분산 컴퓨팅 인프라 운영사인 셈. 아카마이는 1998년 MIT 연구진을 중심으로 설립된 회사로, 분산 컴퓨팅과 캐싱 기술을 상용화해 인터넷 병목을 줄이는 것을 출발점으로 삼았다. 2001년 나스닥에 상장했으며, 이후 CDN에서 웹 성능 가속, DDoS 방어, 봇 관리, API 보안, 제로 트러스트 보안 등으로 포트폴리오를 넓히며 ‘클라우드·보안 플랫폼’으로 진화해 왔다. 아카마이는 출판사를 압박하는 AI 봇을 크게 두 부류로 나눈다. 첫째는 대규모 언어모델(LLM) 학습을 위해 대량의 텍스트·이미지 콘텐츠를 긁어가는 학습 크롤러다. 이들 학습용 크롤러는 미디어를 겨냥한 전체 AI 봇의 63%를 차지하며, 이 가운데 37%의 트래픽이 출판 사이트로 직접 향하는 것으로 집계됐다. 둘째는 실시간으로 웹페이지를 호출해 챗봇 답변과 요약문을 만들어내는 ‘AI 페처(fetcher)’로, 미디어 타깃 AI 봇의 24~25%를 차지하는데 이 가운데 43%가 출판 부문에 집중되고 있다. 즉, 출판사는 과거의 검색엔진 크롤러보다 훨씬 강도 높은 ‘실시간 AI 소비자’에 둘러싸인 셈이다. 더 뼈아픈 지점은 트래픽 구조의 붕괴다. 아카마이 SOTI 보고서는 2024년 4분기 기준 AI 챗봇이 퍼블리셔에게 보내는 추천(referral) 트래픽이 전통적인 구글 검색 대비 약 96% 낮았다고 밝힌다. 영국 보안 매체 시큐리티브리프(SecurityBrief UK)도 같은 수치를 인용하며, “AI 챗봇 상호작용에서 발생하는 트래픽은 전통 검색 경로에 비해 현저하게 적어, 출판사가 얻는 실질적 관객 이득이 과거 모델 대비 크게 축소됐다”고 평가한다. 이용자들이 AI 답변에 표시된 출처 링크를 실제로 클릭하는 비율은 약 1% 수준에 그친 것으로 보고되며, 이는 “콘텐츠는 쓰되, 방문자는 오지 않는” 구조가 고착되고 있음을 시사한다. 이 같은 변화는 출판사의 P/L 구조에 직접적인 타격을 준다. 트래픽 급감은 곧 광고 노출 감소와 구독 전환 기회의 축소로 이어지며, 반대로 AI 봇의 대량 접속으로 인한 인프라·네트워크 비용은 오히려 증가하는 이중고를 초래하고 있기 때문이다. 패트릭 설리번 아카마이 보안전략 CTO는 “AI 봇이 광고와 구독 같은 핵심 수익원을 잠식하는 동시에 인프라 비용을 끌어올리고 브랜드 가시성을 약화시키고 있다”고 직격했다. 디지털 광고 단가가 하향 압력을 받는 국면에서, ‘읽지 않는 독자’를 위한 대량 트래픽 처리 비용이 출판사의 손익계산서에 추가 비용 항목으로 찍히는 모순된 상황이다. 보고서는 이런 현상을 “정보 획득 방식의 근본적 전환”으로 규정한다. 독자 상당수가 검색 결과를 클릭해 뉴스 사이트로 이동하는 대신, 챗GPT·제미나이(Gemini) 등 AI 기반 플랫폼에서 즉답형 요약을 소비하는 패턴으로 이동하면서, 언론사는 독자와의 직접 접점을 잃은 채 ‘백엔드 데이터 공급자’로 전락하고 있다는 진단이다. 아카마이는 “오늘날 출판 업계는 생존을 위협받는 위기에 직면해 있다”며, 신뢰할 수 있는 보도와 독창적 콘텐츠에 대한 사회적 수요는 여전히 존재하지만 그 가치가 시장 메커니즘에서 제대로 보상되지 않는 구조적 괴리를 지적한다. 출판 업계의 대응 전략도 진화를 시작했다. 보고서와 관련 보도에 따르면, 많은 퍼블리셔들이 과거의 ‘일괄적 봇 차단’에서 벗어나, 정교한 식별·분류와 선택적 허용·제한을 결합한 봇 관리로 전환하고 있다. 구체적으로는 AI 유저에이전트 식별을 통한 모니터링, 초당 요청을 지연시켜 스크래핑 효율을 떨어뜨리는 ‘타피팅(tarpitting)’ 기법, 라이선스 계약을 맺은 특정 AI 크롤러만 화이트리스트로 허용하는 정책 등이 동원되고 있다. ‘무임승차’를 유료화하려는 시도도 가속화되는 분위기다. 아카마이 보도자료와 해외 IT·미디어 매체에 따르면, 톨빗(TollBit)은 AI 봇 트래픽을 인증·계량해 요청 건마다 가격을 매기는 ‘페이 퍼 크롤(pay-per-crawl)’, 혹은 ‘봇·에이전트 유료장벽(bot paywall)’ 모델을 전면에 내세우고 있다. 퍼블리셔는 AI 트래픽을 별도의 게이트웨이로 우회시켜, 어떤 봇이 어떤 페이지를 어느 정도 빈도로 요청하는지 실시간으로 확인하고, 페이지·키워드·시간대·디렉터리 수준까지 세분화된 요율을 적용해 과금할 수 있도록 설계됐다. 더커런트(The Current) 등 업계 분석에 따르면, 톨빗은 이 구조를 통해 LLM 사업자에게 ‘봇 스크래핑 CPM’을 부과하는 사실상의 톨게이트를 구축하고 있으며, 이는 기존의 포괄 라이선스나 일괄 포기 구조와 다른 새로운 협상 지렛대로 부상하고 있다. 동시에 인프라 사업자들도 ‘AI 크롤러 과금’에 뛰어들고 있다. 클라우드플레어(Cloudflare)는 2025년 웹 인프라의 약 20%를 차지하는 자사 네트워크에서 AI 크롤러를 차단·통제하는 기능을 도입한 데 이어, 2025년 6월에는 콘텐츠 소유자가 AI 크롤러에 대해 요청 건당 비용을 부과할 수 있는 ‘페이 퍼 크롤(Pay per crawl)’ 기능을 공개했다. 클라우드플레어의 ‘State of Bots’ 보고서에 따르면 2025년 2분기 기준 AI 봇은 웹사이트 측의 차단 요청을 13%나 우회했는데, 이는 불과 한 분기 전의 4배에 달하는 수치다. 기술적으로는 차단이 가능하지만, 경제적·전략적 관점에서 “무조건 막을 것인지, 얼마에 팔 것인지”를 둘러싼 새로운 의사결정이 출판사 경영의 핵심 이슈로 올라온 셈이다. 문제는 다수의 중소 규모 언론사와 독립 퍼블리셔가 이런 복잡한 봇 관리·라이선스 협상에 대응할 조직과 기술 역량을 충분히 갖추지 못했다는 점이다. AI 트래픽을 정밀하게 계측·분류하고, 개별 AI 사업자와 콘텐츠 사용 조건을 협상하며, 과금·정산까지 처리하려면 기술 인프라와 법률·비즈니스 역량이 함께 뒷받침돼야 한다. 반면 대형 플랫폼과 글로벌 AI 기업은 이미 자본과 기술, 법무 인력을 앞세워 시장 룰을 선점하는 단계로 들어섰다. 구조적으로 ‘갑을’ 관계가 기울어질 수밖에 없는 구도다. 그럼에도 불구하고, 이번 아카마이 보고서는 출판 업계가 ‘플랫폼의 선의’에만 의존하는 시대를 지나, 데이터 접근 자체를 인벤토리로 간주하고 교섭 테이블로 끌어오려는 움직임이 본격화되고 있음을 보여준다. AI 봇 트래픽 300% 폭증과 추천 트래픽 96% 붕괴라는 숫자는, 검색엔진 최적화(SEO)와 소셜 바이럴에 의존해온 지난 20년의 디지털 미디어 모델이 더 이상 유효하지 않음을 통계적으로 증명하고 있다. 생성형 AI가 ‘정보 유통의 전면’에 서는 시대, 언론과 출판이 생존을 위해 선택할 수 있는 전략은 단순히 AI를 비난하거나 무작정 차단하는 것을 넘어, 트래픽·콘텐츠·데이터의 새로운 가치사슬을 스스로 설계할 수 있느냐에 달려 있다는 점만은 분명해 보인다.