Ahrefs蜘蛛到底是什么

今天在例行检查公司网站日志的时候发现，百度、谷歌、搜狗的蜘蛛都来了，确实是一件很开心的事情，因为公司网站大概10多天了，一直没有收录首页。不过我缺发现一个很有意思的东西，ahrefs蜘蛛，这是个什么？

带着疑问我百度了一下，发现 ahrefs蜘蛛是一种国外专门用来负责分析网站排名、内链、外链的营销类蜘蛛，会采集自己网站上的链接。

下面的官方话语

增加您的搜索流量的工具，研究您的竞争对手并监控您的利基市场。Ahrefs会帮助你去研究为什么你的竞争对手排名这么高，以及你需要采取什么行动来超越他们。

robots内添加如下规则： 

 User-agent: AhrefsBot 

 Disallow: /

具体效果以后会更新的

另附上自己公司网站 www.hshdlq.cn 波纹涵管