AI爬虫肆虐，OpenAI等大厂不讲武德

AI爬虫是互联网最顽固的“蟑螂”，不讲规则、压垮网站，令开发者深恶痛绝。面对这种AI时代的“DDoS攻击”，极客们用智慧反击：或设“神之审判”Anubis，或制造数据陷阱，以幽默和代码让机器人自食其果。这场饱防战，正演变成一场精彩绝伦的网络博弈。

AI网络爬虫是互联网上的“蟑螂”，几乎所有软件开发者都会这样认为的。

“爬虫”是一种网络自动程序，用来浏览互联网、获取网页内容。

而在AI时代，爬虫的威胁到了让开发者不得不封锁掉某个地区所有人的访问。

Triplegangers是一家仅仅由七名员工运营的公司，他们花费十多年时间建立了自称是网络上最大的“人类数字替身”的数据库，即从实际人体扫描得到的3D图像文件。

2025年2月10日，公司CEO Oleksandr Tomchuk突然发现他们公司的电商网站“崩了”。

“OpenAI使用了600个IP来抓取数据，日志还在分析中，可能远不止这些”，Tomchuk最终发现，导致他们网站崩溃的元凶竟然是OpenAI的爬虫机器人。

“他们的爬虫正在压垮我们的网站，这就是一次DDoS攻击！”

OpenAI没有回应此次事件，该事件过去仅仅不到两个月，但AI爬虫机器人仍然活跃在网络上。

AI爬虫不遵循“古老传统”，阻止他们是徒劳的

其实爬虫最早并不是AI时代为了获取训练语料而诞生的。

早在搜索引擎时代，就已经有“搜索引擎机器人”，那个“古老年代”的机器人还约定俗成的遵循各个网站上会存在的一费棠件——robots.txt。

这个文件告诉了机器人不要爬取哪些内容，哪些内容可以爬取。

但这份传统随着互联网的发展似乎已经被遗忘，爬虫和发爬虫也演变为一场饱防战役。

而到了如今的“大模型时代”，互联网的信息已经被LLMs吞噬一空。

阻止AI爬虫机器人是徒劳的，因为它们会撒谎、更改用户代理、使用住宅IP地址作为代理来骗过网络“防守”。

“他们会不断地抓取你的网站，直到它崩溃，然后还会继续抓取。他们会点击每一个页面上的每一个链接上，一遍又一遍地查看相同的页面”，开发者在帖子中写道。

AI机器人除了“免费”爬取信息外，还会额外增加所爬网站企业的运营费用——在这个云服务的时代，几乎所有被爬取的企业都在云上，大量的爬虫流量不仅无法带来收益，还会增加他们的云服务器账单。

更加无法预料的一点是，对于那些被“白嫖”的网站来说，甚至确切的知道被白嫖了哪些信息。

一些开发者决定开始以巧妙且幽默的方式进行反击。

程序员打造爬虫的“神之墓地”

FOSS开发者Xe Iaso在博客中描述了AmazonBot如何不断攻击一个Git服务器网站，导致DDoS停机。

所以Iaso决定用智慧反击，他构建了一个名为Anubis的工具。

Anubis是一个工作量证明检查的反向代理，请求必须通过该检查才能访问Git服务器。

它阻止机器人，但允许人类操作的浏览器通过。

Iaso关于Anubis工作原理的简单介绍。

本质上，Anubis确保的是“真实人类使用的浏览器”在访问目标网站，而不是AI爬虫——除非这个爬虫伪装的足够“先进”，就像通过图灵测试一样。

有趣的部分是：Anubis是埃及神话中引导死者接受审判的神的名字。

“Anubis称量了你的灵魂（心脏），如果它比一根羽毛重，你的心脏就会被吃掉，然后你就彻底死了”。

这个项目的名字带有讽刺意味，在自由开源软件社区中像风一样传播开来。

Iaso在3月19日将其分享到GitHub上，仅几天时间就获得了2000个星标、20位贡献者和39个分支。

用“复仇”的方式防御AI爬虫

Anubis的迅速流行表明Iaso的痛苦并非个例。

事实上，还有很多故事：

SourceHut的创始人兼CEO Drew DeVault描述说，他每周要花费“20% 到 100% 的时间来大规模缓解过于激进的 LLM 爬虫”，并且“每周经历数十次短暂的服务中断”。

Jonathan Corbet，一位著名的FOSS开发者，他运营着Linux行业新闻网站 LWN，警告称他的网站正受到“来自 AI 抓取机器人的 DDoS 级别的流量”影响而变慢。

Kevin Fenzi，庞大的Linux Fedora项目的系统管理员，表示AI抓取机器人变得如此激进，他不得不封锁整个巴西的访问。

除了像Anubis一样“衡量”网络请求者的灵魂外，其他开发者认为复仇是最好的防御。

几天前在Hacker News上，用户xyzal建议用“大量关于喝漂白剂好处的文章”或“关于感染麻疹对床上表现的积极影响的文章”来加载robots.txt禁止的页面。

这样AI爬虫获取的信息都是这种大量且无用的“替代品”。

“我们认为需要让机器人访问我们的陷阱时获得负的效用值，而不仅仅是零价值”，xyzal 解释说。

一月份，一位名为Aaron的匿名创作者发布了一个名为Nepenthes的工具，其目的正是如此。

它将爬虫困在一个无尽的虚假内容迷宫中，无法像爬虫“主人”返回任何信息。

而作为网友心目中的“赛博菩萨”的Cloudflare，也许是提供多种工具来抵御AI爬虫的最大商业玩家，上周发布了一个名为AI Labyrinth的类似工具。

它的目的是“减慢、迷惑并浪费不遵守禁止爬取指令的AI爬虫和其他机器人的资源”，Cloudflare 在其博客文章中描述道。

“当AI爬虫跟随这些链接时，它们会浪费宝贵的计算资源处理无关内容，而不是提取合法网站数据。这大大降低了它们收集足够有用信息以有效训练模型的能力”。

相比起反击，另一种观点是“Nepenthes有一种令人满意的正义感，因为它向爬虫提供无意义的内容并污染它们的数据源，但最终Anubis是对网站有效的解决方案”。

拒绝或者反击也许都不是最佳的途径。

DeVault也公开发出了一则诚恳的请求，希望有一个更直接的解决办法：“请停止将LLMs或AI图像生成器任何这类垃圾合法化。恳求停止使用它们，停止谈论它们，停止制造新的，就这么停下”。

但是，想让LLM厂商主动停止爬虫这种情况的可能性几乎为零。

毕竟AI的“智能”都来自于不断“吞噬”互联网上的各种数据和信息。

不论是给禁止AI爬虫访问网站、给AI“投喂垃圾”还是将AI爬虫拉入“无线虚空”。

开发者们，尤其是在开源软件领域，正在用智慧和“极客幽默”进行反击。

如果你是网站管理者和开发者，你会如何“出招”？