蘋果AI內(nèi)容抓取機(jī)器人被屏蔽
8月30日,《連線》雜志發(fā)表了一篇博客文章,揭示了一個(gè)有趣的現(xiàn)象:不少主流媒體開(kāi)始拒絕蘋果的數(shù)據(jù)抓取工具Applebot的訪問(wèn)。Applebot初次進(jìn)入公眾視野是在2014年11月,隨后蘋果在2015年5月正式公布了這一技術(shù)。作為Applebot的升級(jí)版,Applebot-Extended在過(guò)去十年間持續(xù)抓取網(wǎng)頁(yè)內(nèi)容,旨在提升Siri和Spotlight搜索等功能的表現(xiàn)。
近期的研究顯示,多數(shù)主流出版機(jī)構(gòu)通過(guò)robots.txt文件來(lái)限制蘋果的抓取行為。據(jù)統(tǒng)計(jì),大約有6%到7%的高流量網(wǎng)站已阻止了Applebot-Extended的訪問(wèn)。另一項(xiàng)由Ben Welsh進(jìn)行的研究則指出,在他考察的網(wǎng)站樣本中,有高達(dá)25%的網(wǎng)站對(duì)Applebot-Extended實(shí)施了屏蔽措施。此外,研究還發(fā)現(xiàn),OpenAI的爬蟲(chóng)在新聞網(wǎng)站中的遭遇更為嚴(yán)峻,被53%的站點(diǎn)攔截,而谷歌的Google-Extended爬蟲(chóng)也被43%的網(wǎng)站拒絕。
《連線》分析認(rèn)為,盡管網(wǎng)站或許并不介意蘋果的智能搜索觸及它們的內(nèi)容,但Applebot及其增強(qiáng)版之所以被較低比例的網(wǎng)站阻擋,主要是因?yàn)檫@些機(jī)器人的知名度相對(duì)較低,尚未引起廣泛的企業(yè)關(guān)注。