摘要
最近一直在研究网站日志，发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站，会浪费服务器的资源。对于一些搜索引擎蜘蛛，时不时来抓取我们的网站，需要屏蔽吗？以下请大家自行判断哟。1.蜘蛛：SemrushBotrush，可能有小伙伴知道，它是一款功能强大的SEO及SEM综合工具，在在线营销市场上占据着举足轻重的地位；它的原理就是SEM
最近一直在研究网站日志，发现了很多陌生的搜索引擎蜘蛛在抓取我的网站。我们知道蜘蛛抓取网站，会浪费服务器的资源。对于一些搜索引擎蜘蛛，时不时来抓取我们的网站，需要屏蔽吗？以下请大家自行判断哟。
1. 蜘蛛：SemrushBot
SEMrush，可能有小伙伴知道，它是一款功能强大的SEO及SEM综合工具，在在线营销市场上占据着举足轻重的地位；它的原理就是SEMrush的服务器搜刮互联网上所有有价值的网站，将网站的数据存入到数据库，对其进行分析归类，是一款很好的网站分析工具，可以说是分析自己网站和竞争对手网站状况的一大神器。
2. 蜘蛛：AhrefsBot
Ahrefs是一款非常著名的外链分析工具，它拥有自己的爬虫蜘蛛AhrefBot和强大的数据库，在查询外链方面，准确率非常高，所以它的价格不便宜，一个月99美金，让May只能望而止步。
3. 蜘蛛：dotbot
Dotbot是Moz的网络爬虫蜘蛛，Moz相信不少的SEOer人员使用过，帮助分析网站运行情况的一款工具，立志打造世界上最准确的SEO数据。
以上这些蜘蛛，如果你觉得需要屏蔽的话，可以参考下面的屏蔽方式：
User-agent: SemrushBot
Disallow：/
User-agent: AhrefsBot
Disallow: /
User-agent: dotbot
Disallow: /
目前发现了这三款不常见的搜索引擎蜘蛛，赶紧检查一下你的网站日志中是否也有这些蜘蛛呢？或者还有其他蜘蛛？欢迎大家评论交流哦。
主题测试文章，只做测试使用。发布者：佰搜SEM，转转请注明出处：https://baidusem.com/647.html
