IT之家 9 月 26 日消息，网络服务商Cloudflare本周推出一系列防AI 爬虫的工具，包括可查看 AI 爬虫具体活动的 AI Audit 和一键屏蔽所有 AI 爬虫的 Block AI Scrapers and Crawlers。站长们可以部署相干服务，从而防止本身网站的内容被用于练习AI的机器人爬虫扒取。 IT之家注：爬虫是一种主动化的程序，可以在互联网上搜索和获取信息，目前很多厂商使用相干爬虫扒取各大网站信息用于练习AI模型，相干爬虫容易导致被扒网站产生大量非常流量，为此站长需支付高昂的网络带宽费用，同时也容易导致网站上大量原创/隐私内容泄露。 Cloudflare推出的相干工具主要使用签名比对、启发式算法、机器学习和举动分析技术来辨别爬虫，用户可以查看 AI 爬虫的各种举动，包括爬虫范例、访问频率和扫描内容，站长还可以按照必要放行“善意的 AI机器人”抓取信息（此类“善意的AI机器人”主要探求网站的robots.txt来获取信息，通常不会对网站本身产生非常流量，也不会将网页所有数据直接用于全盘练习模型）。
如果不确定如何处理这些 AI 爬虫，站长们也可以使用 Block AI Scrapers and Crawlers 功能，一键屏蔽所有 AI 爬虫。
互联网为很多大语言模型（如OpenAI的GPT模型和谷歌的Bard）提供了大部分的练习数据，如今很多厂商为了刷自家AI模型分数，大肆通过网络爬虫“拿来式”地获取练习数据，从而让本应你情我愿的举动变得“污名化”，各大网络商直接推出此类禁用AI爬虫的服务也在料想之中。 |
