뉴스 사이트들의 '인터넷 아카이브' 차단 확산... "AI 무단 크롤링 방지 목적"

[OCJ=서울] 전 세계 주요 언론사들이 자사의 디지털 콘텐츠를 보호하기 위해 비영리 디지털 도서관인 '인터넷 아카이브(Internet Archive)'의 접근을 잇따라 차단하고 있습니다. 이는 인공지능(AI) 기업들이 인터넷 아카이브의 '웨이백 머신(Wayback Machine)'을 이용해 언론사의 유료 콘텐츠를 무단으로 수집하고 학습 데이터로 활용하는 것을 막기 위한 고육지책으로 풀이됩니다.

 

 

언론사들, "인터넷 아카이브는 AI의 뒷문" 최근 니먼 랩(Nieman Lab)과 외신 보도에 따르면, 뉴욕타임스(NYT), 가디언(The Guardian), 파이낸셜 타임스(FT), USA 투데이 등 세계적인 권위지들이 자사 웹사이트의 'robots.txt' 파일을 수정하여 인터넷 아카이브의 크롤링 봇(archive.org_bot 등)을 차단했습니다.

 

뉴욕타임스 대변인은 이번 조치에 대해 "웨이백 머신이 AI 기업들에게 허가받지 않은 콘텐츠 접근 권한을 제공하는 '뒷문' 역할을 하고 있다"며, "인간 중심의 저널리즘 가치를 보호하고 지적 재산권이 적법하게 사용되도록 하기 위한 결정"이라고 밝혔습니다. 가디언 역시 AI 기업들이 구조화된 데이터를 손쉽게 얻기 위해 인터넷 아카이브의 API를 악용하고 있다는 점을 차단 이유로 꼽았습니다.

 

'열린 웹'의 종말인가... 야후 뉴스 호주의 경고 이러한 흐름에 대해 야후 뉴스 호주(Yahoo News Australia)와 주요 IT 매체들은 "우리가 알던 '열린 웹(Open Web)'의 시대가 저물고 있다"고 진단했습니다. 과거 인터넷 아카이브는 사라져가는 웹 페이지를 기록하고 누구나 정보에 접근할 수 있게 돕는 '디지털 인류의 기억 저장소' 역할을 해왔습니다.

 

그러나 AI 학습 데이터의 가치가 급등하면서 상황이 급변했습니다. 언론사들은 오픈AI(OpenAI), 구글 등과 수천억 원 규모의 콘텐츠 라이선스 계약을 체결하고 있는 반면, 인터넷 아카이브를 통한 우회 수집은 이러한 정당한 대가 지불 체계를 무너뜨린다는 입장입니다. 실제로 레딧(Reddit) 또한 지난 2025년 8월, AI 기업들의 무단 수집을 이유로 인터넷 아카이브의 인덱싱을 대부분 차단한 바 있습니다.

 

디지털 보존과 저작권 사이의 딜레마 전문가들은 이번 조치가 가져올 부작용에 대해서도 우려를 표하고 있습니다. 인터넷 아카이브는 삭제된 기사나 수정 전의 기록을 확인할 수 있는 유일한 공공 기록물 저장소 역할을 해왔기 때문입니다. 언론사들의 차단이 확산될 경우, 미래 세대가 현재의 디지털 역사를 연구하거나 권력의 기록을 감시하는 데 큰 제약이 생길 수 있다는 지적입니다.

 

버즈스트림(BuzzStream)의 최근 분석에 따르면, 미국과 영국 상위 100개 뉴스 사이트 중 약 79%가 이미 하나 이상의 AI 학습 봇을 차단하고 있으며, 이 중 상당수가 인터넷 아카이브까지 차단 목록에 포함시킨 것으로 나타났습니다.

---

기록의 가치와 상생의 마음

우리가 매일 마주하는 뉴스와 정보들은 단순한 데이터가 아니라, 누군가의 치열한 고민과 땀방울이 담긴 소중한 결실입니다. 창작자가 자신의 노력을 보호받고자 하는 마음과, 인류의 공동 자산으로서 지식을 보존하려는 열망은 오늘날 디지털 시대의 커다란 숙제가 되었습니다.

 

기술이 아무리 빠르게 변해도 변하지 않는 가치는 '존중'과 '나눔'의 균형일 것입니다. 창작자의 권리가 존중받을 때 더 좋은 이야기가 태어날 수 있고, 그 기록들이 투명하게 보존될 때 우리 사회의 공동체적 기억은 더욱 풍성해집니다.

 

정보를 가두는 벽이 높아지는 지금, 우리는 서로의 가치를 인정하면서도 함께 성장할 수 있는 '상생의 길'을 고민해야 합니다. 기술이 사람을 소외시키는 도구가 아니라, 우리의 소중한 기억들을 안전하게 지키고 연결하는 따뜻한 가교가 되기를 소망해 봅니다.