AhrefsBot是什么蜘蛛?

如果你经常关注自己网站每天都有哪些搜索引擎蜘蛛来爬的话,可能会发现,除了我们常见的百度蜘蛛(Baiduspider)、谷歌蜘蛛(Googlebot)、360蜘蛛(360spider)等外,还有一些一眼看上去也不知道是什么的蜘蛛程序,比如今天我们要介绍的这个:AhrefsBot。
AhrefsBot是什么蜘蛛?
AhrefsBot是国外网站(Ahrefs.com)的一个蜘蛛程序,那么Ahrefs是什么网站呢,这个是国外一个网络营销类的网站,有点类似于国内的5118、站长网之类,在SEO界是很有名的。AhrefsBot数据库里面有超过12万亿条链接,每天它就在不断的执行和监控Ahrefs的在线营销活动,每24小时就要访问超过60亿个网页,每15-30分钟就要更新一次索引。
根据一项调查显示,AhrefsBot是仅次于谷歌蜘蛛(Googlebot)的世界第二大活跃蜘蛛爬虫程序。
AhrefsBot对网站有什么影响?
AhrefsBot除了会轻微的增加你服务器的负担外,并不会对你的网站造成什么影响,它既不会触发网站上的广告,也不会在统计中增加流量。
对于国内的中文网站来说,AhrefsBot蜘蛛是没有什么作用的,不管是好的作用还是副作用。所以我们建议是将其屏蔽掉。
如何屏蔽AhrefsBot?
要想禁止AhrefsBot抓取你的网站,方法其实是很简单,因为AhrefsBot是遵循robots.txt协议的,所以你只需要在robots.txt中将其禁止就行,具体代码如下:

user-agent: AhrefsBot
disallow: /

总的来说,很多陌生的蜘蛛程序都是国外的一些营销网站开发的,通过这些蜘蛛在世界各地的网站上抓取网站,提供SEO服务。

附,常见蜘蛛名称

1、百度蜘蛛bai:Baiduspider
2、谷歌蜘蛛:duGooglebot
3、360蜘蛛:360Spider
4、SOSO蜘蛛:Sosospider
5、雅zhi虎蜘蛛:“Yahoo! Slurp China”或者Yahoo!
6、有道dao蜘蛛:YoudaoBot,YodaoBot
7、搜狗蜘蛛:Sogou News Spider、Sogou XXX spider等
8、MSN蜘蛛:msnbot,msnbot-media
9、必应蜘蛛:bingbot
10、一搜蜘蛛:YisouSpider
11、Alexa蜘蛛:ia_archiver
12、宜sou蜘蛛:EasouSpider
13、即刻蜘蛛:JikeSpider
14、一淘网蜘蛛:EtaoSpider
这些据说是国外蜘蛛YandexBot、AhrefsBot和ezooms.bot

本文链接:SEO站长网 » AhrefsBot是什么蜘蛛?