根据海外新闻报道,最近苹果在推出新的 AI 功能时遇到了一些挑战。许多大型网站纷纷封锁了苹果的 AI 爬虫,苹果被迫与这些网站进行许可协议的谈判。这种情况与谷歌形成鲜明对比,后者由于其强大的市场影响力,能够施加压力,迫使出版商允许其 AI 访问内容。
根据《WIRED》的一项报道,像 Facebook、Instagram、Craigslist、Tumblr、纽约时报、金融时报、The Atlantic、Vox 媒体、USA Today Network 以及 Condé Nast 等知名网站都在阻止苹果的 AI 爬虫 Applebot-Extended 的访问。这些出版商中,有一些已经与 OpenAI 达成了协议,允许其 AI 使用他们的内容。
为了应对这一局面,苹果最近推出了新的爬虫工具 Applebot-Extended。网站运营者可以通过 robots.txt 文件来阻止这个爬虫。根据《WIRED》的分析,在1000个被分析的网站中,大约有7% 选择了阻止这一 AI 爬虫。而数据记者 Ben Welsh 的另一项分析显示,在1167个主要是美国的英文出版物中,有294个阻止了 Applebot-Extended 的访问。
除了苹果,Anthropic 和 OpenAI 等公司也面临着类似的挑战。其中,OpenAI 的爬虫被阻止的比例甚至更高。
在这个过程中,谷歌似乎占据了更多的主动权。由于其在搜索引擎市场的主导地位,谷歌能够向出版商施加压力,要求他们允许其 AI 访问内容,否则可能会面临搜索可见度降低的风险。谷歌通过将其 AI 概述与传统网页抓取相结合,来强化这一点。此外,谷歌已经停止了与出版商就内容使用进行许可协议的早期讨论。由于谷歌每日的搜索量巨大,这样的协议成本极有可能会很高,从而进一步压缩了因 AI 产生的搜索利润。
相比之下,苹果虽然也有爬虫用于其搜索产品,但出版商可以阻止 AI 爬虫,而不会影响在苹果搜索结果中的可见度。虽然这种做法显得更加公平,但毕竟搜索并不是苹果的核心业务。至于 OpenAI 的 ChatGPT 在苹果产品中的使用情况,未来的许可协议又将如何运作,仍然有待观察。