[뉴스스페이스=김정영 기자] 세계 최대 검색업체 구글이 자사 검색 결과를 무단으로 긁어가는 크롤링(crawling) 업체 ‘서프Api(SerpApi)’를 상대로 캘리포니아 북부 연방지법에 소송을 제기했다고 12월 19일(현지시간) 밝혔다.

구글은 서프Api가 웹사이트 소유자가 설정한 크롤링 지침을 무시하고, 보안 조치까지 우회해 콘텐츠를 무단 수집해 왔다고 주장하며, 이에 대해 각 위반사항에 대해 200~2,500달러의 손해배상액을 산정했다. 특히 구글은 서프Api가 구글이 라이선스를 취득해 제공하는 콘텐츠를 가져가 유료로 재판매하는 등 ‘기생충 같은 사업모델’이라고 비판했다.

크롤링(Crawling)이란 수많은 인터넷 페이지의 내용을 대량 복제해 저장하는 것을 말한다. 이렇게 저장된 페이지는 검색 결과 생성, AI 모델 훈련을 비롯한 여러 분석 작업에 사용된다.
​

서프Api는 2017년 설립된 텍사스주 오스틴 소재 스타트업으로, 초기에는 고객들의 구글 검색 상위 노출을 돕는 SEO 분석 서비스를 제공했다. 그러나 최근 생성형 인공지능(AI) 시장이 급성장하면서, 서프Api는 그간 수집한 검색 결과 데이터를 오픈AI, 메타 등 AI 개발사에 판매하는 새로운 비즈니스 모델을 구축했다.

리투아니아의 옥시랩스(Oxylabs), 러시아의 AQM프록시 등과 함께, 이들 중간 업체들은 ‘데이터 세탁 생태계’를 형성하며 웹페이지 데이터를 산업적 규모로 AI 기업에 공급하고 있다는 분석이 나온다.
​

업계에서는 구글이 서프Api에 대한 소송을 통해 오픈AI, 메타 등 주요 AI 경쟁사들을 간접적으로 견제하려는 의도가 깔려 있다고 해석한다. 실제로 구글은 최근 미국 법원에 의해 경쟁사와 검색 데이터를 공유해야 하는 의무가 있지만, 이는 이용자가 입력한 검색어와 원시 데이터로 한정되며, 검색 결과를 구성하는 핵심 알고리즘은 공유 대상에서 제외됐다.

한편, 온라인 커뮤니티 레딧(Reddit)도 지난 10월 서프Api를 포함한 크롤링 업체들을 상대로 소송을 제기하며, 사용자 생성 콘텐츠가 무단으로 AI 모델 훈련에 사용된다는 점을 문제 삼은 바 있다.
​

서프Api 측은 구글의 소송에 대해 아직 소장을 접수하지 않았으며, 사업은 표현의 자유를 보장하는 미국 수정헌법 1조에 의해 보호받는다고 주장하고 있다. 그러나 구글은 서프Api가 대규모 봇 네트워크를 활용해 웹사이트를 폭격하거나, 크롤러에 가짜 이름을 사용하는 등 뒷문(백도어)을 통한 불법 행위가 최근 급증했다고 지적하며, 이로 인해 회복 불가능한 피해가 발생하고 있다고 강조했다.
​

이번 소송은 AI 시장에서 데이터의 소유권과 활용 방식을 둘러싼 법적 논쟁이 본격화되고 있음을 보여주는 대표적 사례로, 향후 AI 경쟁사 간 데이터 확보 전쟁과 관련한 판례로도 주목받을 전망이다.