如何与恶意“蜘蛛”暗度陈仓

  在做SEO的过程中，你是否遇到这样一种问题：服务器访问CPU使用率几乎100%，而且页面加载速度特别慢，貌似被DDOS攻击一样。经过一番审查才发现原来自己的目标网站被大量不相关的“爬虫”频繁的抓取，这对于一个小网站来讲，可能是灭顶之灾。因此，我们在做网站优化的时候，就需要针对特定蜘蛛有选择的引导。

那么，如何与恶意“蜘蛛”暗度陈仓？根据以往SEO经验分享，蝙蝠侠IT，将通过如下内容阐述：

1、搜索引擎爬虫

对于国内的小伙伴，我们都知道在做SEO的过程中，我们面对的最常见的爬虫就是搜索引擎的爬虫，比如：百度蜘蛛，同时，还会面临各种搜索引擎的蜘蛛，比如：

② 360Spider、SogouSpider、Bytespider

②Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

③ 其他爬虫

如何你没有刻意的配置你的robots.txt文件的话，论上，你的目标页面是都可以抓取与爬行的，但对于一些中小网站，它偶尔会严重浪费自己的服务器资源。这个时候我们就需要做出有选择性的合理引导，特别是一些比较尴尬的问题，比如：你希望谷歌降低对网站爬行，而又不能完全屏蔽，你可能需要一些小技巧，比如：针对特定爬虫的访问，反馈不同的文章列表：

①控制更新频率的列表

②反馈大量重复性，内容农场的页面

④ 善意的“蜘蛛陷阱”比如：Flash

④如何对方SEO管理平台，可以调整抓取评论，适当调整一下,虽然，这样的策略，很可能造成页面信誉度受损，但这是我能想到，针对这些不希望经常爬行，而又需要保持爬行的蜘蛛，合理控制抓取的一个相对“有效”的方法。

2、链接分析爬虫

从目前来看，一个SEO外链分析管理工具，每天需要耗费大量的服务器资源去全网爬行与检测每一个网站的页面链接。针对一些资源密集型的站点，每天可能爬行成千上万次，这样的爬虫屡见不鲜。如果你不想自身的网站参与其中，最简单的策略就是在robots协议中，全封闭这样的爬虫。

3、内容采集爬虫

但当我们面对一些恶意的内容采集爬虫而言，就相对的尴尬，对方往往是采用“隐身”的状态，比如：模拟知名搜索引擎蜘蛛的名称。针对这样的问题，我们只能手动的判断去审查一下对方的庐山真面，比如：利用IP泛解析命令，去判断一下，它到底是不是真的。

①Linux平台：hostip

②Widows平台：nslookupIP

从而去判断对方的解析地址，是否为对应的搜索引擎域名。

4、蜘蛛池爬虫

目前市面上有很多人做百度蜘蛛池，它主要的目的是辅助更多的页面做百度快速收录，但由于一些任意下载的蜘蛛池程序设计的不规范化。

没有做到合理的针对不同蜘蛛的爬行与限定，往往导致服务器资源被大量占用，很容易被服务商关停服务器。如果你试图利用这个策略，提升自己页面收录，那么，你可能需要多加注意。（但我们并不推荐）

原创：蝙蝠侠IT