当前位置:首页 > 独立站 > 正文内容

怎样禁止AI抓取网站内容用于其训练

访客2年前 (2023-10-01)独立站1150

2023.10.11更新:根据SearchEngineLand报道,Google-Extended只是禁止Bard和其它Google的AI系统抓取,并不阻止SGE(Google的搜索生成体验)中出现网站信,因为SGE是搜索的一部分,要屏蔽搜索结果,需要禁止普通Google蜘蛛的抓取。

——-更新结束——-

人工智能依然大火。最近看到很多有意思的AI应用,我自己也在尝试在SEO工作中应用AI,以后有机会再和读者分享心得。

上篇帖子提到,AI公司抓取网站内容用于其AI训练,站长本身并不一定愿意。过去几个月,主要AI服务都在商讨怎样让网站禁止AI蜘蛛抓取。网站有权这样做是无需讨论的,但什么方法更稳妥、简单是需要考虑的。出了各种方案,我一直关注着,但直到现在才写,是因为现在才出了有效简单的方法。

为什么要禁止AI蜘蛛抓取网站内容?

因为还没有明确有效的方式得到回报。就目前情况看,AI抓取内容和搜索引擎抓取内容还有点不一样。搜索引擎抓取内容后会给网站流量,SEO们巴不得多抓点。

AI把网站内容用于训练后,网站能得到什么还不确定。ChatGPTBard (Google的AI聊天服务)本身基本上是不给出处的,所以网站得不到流量。

Bing和Google都在尝试把生成式AI融入搜索,也就是Bing Chat和Google的SGE(search generative experience,搜索生成体验),这两个都是会给出出处链接的。方式和排版五花八门,还在演进中,可以肯定的是,网站可以得到流量。但Bing Chat和SGE使用范围还不大,以后全面上线后:

  • 用户会不会点击AI回答里的链接?会和以前的第0位结果一样带来流量吗?但第0位结果往往是不完整的,而AI已经完整回答了问题,用户还需要点击吗?
  • 能给出多少链接?搜索结果页面是10个链接,生成式搜索结果会是固定数吗?会是几个?
  • 什么网站能得到链接?同一个话题,用于训练的肯定不是一个网站,那哪个网站会得到链接?和做SEO一样,人人有份吗?还是将集中于权威网站?怎样提高被引用的概率?将诞生另一种优化吗?
  • 点击率是多少?和目前搜索结果类似?点击率差一点,搜索流量就将差异巨大。
  • 等等

还都不知道啊。

像我等小博客也就考虑一下流量回报可能性,大公司还得考虑数据安全、版权、隐私、抗攻击性等更严重的问题。

怎样禁止AI抓取网站内容?

讨论了各种方法后,巨头们显然都意识到用robots文件禁止还是最方便的方法。

8月份,OpenAI发布了他们的抓取蜘蛛的新名字- GPTBot,网站可以像禁止其他蜘蛛一样,用robots文件禁止GPTBot抓取:

User-agent: GPTBot
Disallow: /

这里有个有点吊诡、很多人又会忽略的地方:ChatGPT的训练数据来源可不一定限于GPTBot抓取的数据。OpenAI的官方文件显示,除了网上的公开信息,他们还可能使用来自第三方的授权信息,这个第三方都包括谁,就不知道了。

9月28号,Google发布了他们用于AI训练的专用蜘蛛名字: Google-Extended,同样可以用robots文件简单禁止:

User-agent: Google-Extended
Disallow: /

Google的用词是,用robots文件禁止了Google-Extended蜘蛛,就禁止了Bard和Vertex AI(Google开放给用户使用的云端机器学习平台),以及今后所有用于这些产品的模块。所以禁了Google-Extended就应该彻底不会被用于Google的AI训练了。

比较有意思的是,Google说的是:

By using Google-Extended to control access to content on a site, a website administrator can choose whether to help these AI models become more accurate and capable over time.

歌词大意:通过控制Google-Extended,网站可以选择是否要帮助AI模型成长。

禁了,就是不帮助AI成长啊,有点道德绑架的意思啊,哈哈哈。

哪些网站禁止了AI抓取网站内容?

Google的禁止方法才发布,还不知道成效。OpenAI的方法公布一个多月,已经有不少大网站禁了GPTBot。

9月22号,Originality.ai发布帖子,统计了前1000名大网站禁止GPTBot等AI蜘蛛的情况,增长速度挺快,真是残忍:

前1000名大网站,已经有242个禁了GPTBot,占了能检查到robots文件的933个网站的26%。其中包括amazon,pinterest,quora,纽约时报,CNN,华盛顿邮报,路透社,等等。

图里的CCBot是Common Crawl的蜘蛛,一个非赢利组织,是个大型网站数据库,很多AI是用CC数据库训练的,说不定就是OpenAI 的第三方数据提供商之一,所以也被不少网站给禁了。

SEO每天一贴会禁止吗?

本博客会禁止GPTBot和Google-Extended吗?至少目前不会。

虽然前一篇帖子抱怨了一下,AI抓我内容用于训练,对我有什么好处呢?不过后来再想想,随它去吧。AI是大势所趋,势不可挡,有没有我这个博客的内容,对它的影响是零。

不禁,除了有点不甘心,也没什么实质坏处。禁了AI蜘蛛,对我也没任何好处啊。还不如换个角度想,能成为这个改变世界的变革的一部分,与有荣焉。

顺祝中秋、国庆快乐。

The post 怎样禁止AI抓取网站内容用于其训练 first appeared on SEO每天一贴.

扫描二维码推送至手机访问。

网站部分内容来自网络转载,如有侵权请联系我们删除。

本文链接:https://www.ourtrade.net/4929.html

“怎样禁止AI抓取网站内容用于其训练” 的相关文章

流量时代亚马逊独立站的营销思路

流量时代亚马逊独立站的营销思路

作为与第三方平台相辅相成的渠道和品牌化的展示出口,独立站成为移动化、社交化和内容营销三大趋势下中小出口电商新的增长渠道。 那么在日益竞争白热化的跨境电商市场,独立站究竟该如何做营销呢? 一、社交媒体内容营销 全球最新趋势报告显示,2019年整个移动互联网广告市场容量指数级上升。移动化、社交化和内容...

五分钟带你了解跨境电商独立站运营模式!

五分钟带你了解跨境电商独立站运营模式!

直到现在依然有人在问独立站是什么?怎么引流?怎么盈利?卖给谁?谁会买?今天小黑将给大家全面普及独立站营销模式,话不多少直接进去正题! 一、独立站如何盈利? 消费者购物形式主要分为两种 1.明确需求后直接去相应的电商平台搜索购买; 2.在不经意间刷到广告,引起兴趣,进入独立站,自主下单完成购买。 当然...

浅谈谷歌SEO和SEM的区别和如何配合营销?

浅谈谷歌SEO和SEM的区别和如何配合营销?

图片来源:图虫创意 今天,图帕先生想跟大家探讨一下谷歌 SEM(搜索引擎营销)和SEO(搜索引擎优化)的区别,和如何并用两者为自己的品牌和网站带来正面影响。 首先,虽然 SEM 和 SEO 的最终目标是一样的——获取在谷歌搜索引擎的流量,但它们的概念是不尽相同,也需要不同的技术和方法来实现...

你的网站内容被用于AI训练了吗?你愿意吗?

你的网站内容被用于AI训练了吗?你愿意吗?

最近几个月不管SEO行业还是整个科技行业,最热门的话题无疑是人工智能。 说实话,过去20多年来,我一直没觉得SEO技术有什么根本变化。虽然搜索引擎们每天更新算法,SEO们探索各种技巧,新名词层出不穷,这个战法,那个黑科技……其实呢,真没什么变化,无非是:创作好的内容,让...

如何从0开始创建1个Shopify独立站?(Day 3-PayPal收款方式的设置)

如何从0开始创建1个Shopify独立站?(Day 3-PayPal收款方式的设置)

立即注册Shopify-享受14天免费试用和Shopify开店教程指导 现如今PayPal在全球范围内已经拥有超过4亿的月活跃账户,作为一个全球化的支付平台,PayPal服务遍及全球200多个国家和地区,支持用户使用多种货币付款。因此对于绝大多数中国的Shopify卖家来讲,PayPal仍然是最主...

如何从0开始创建1个Shopify独立站?-(Day 4-运费Shipping设置)

如何从0开始创建1个Shopify独立站?-(Day 4-运费Shipping设置)

立即注册Shopify-享受14天免费试用和Shopify开店教程指导 在Shopify独立站运营过程中,运费会占用不少成本,所以我们必须全面考虑自己所售的产品和目标市场来合理设置运费,就跟国内京东淘宝一样,有的设置全场包邮,有的超过一定金额才包邮,还有的可以补差价换顺丰,有的地区不支持配送等等……...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。