如同淘宝网类似，屏蔽了百度蜘蛛抓取了淘宝网，当然我们做网站优化的一般情况下是不需要屏蔽百度蜘蛛的，但是在必要的时候，我们也会使用到屏蔽蜘蛛的时候，比如说网站的登入页面与注册页面或者是动态页面都需要通过屏蔽蜘蛛抓取。以免权重分散。下面来介绍几个屏蔽百度蜘蛛抓取的方法
淘宝网就是使用了这种技术来屏蔽百度抓取的，所以我们可以看到，在淘宝网的robots文件里面有一句这样的话：
user-agent: baiduspider其目的就是屏蔽百度蜘蛛抓取淘宝网的任意一个页面，但是这种方法屏蔽的并不是很完全，我们在百度搜索“淘宝网”还是会出现官方网站的。
robots meta标签也可以屏蔽搜索引擎抓取，这种方法与robots类似，但是还是部分搜索引擎不支持，robots meta用来对某几个页面单独设置时使用。其代码是写在“<head>…</head>”之间，如下所示：
<head> …
<meta name=”robots” content=”index,follow” />
</head>
如果说使用robor无法全部屏蔽你的网站，那么你可以.htaccess屏蔽代码如下：
方法1：
rewriteengine on
rewritecond %{http_user_agent} ^baiduspider [nc]
rewriterule .* - [f]
方法2：
setenvifnocase user-agent "^baiduspider" bad_bot
<limit get post>
order allow,deny
allow from all
deny from env=bad_bot
</limit>
许多空间商为了减少服务器负担，故意屏蔽蜘蛛抓取，导致网站无法被搜索引擎收录，在这里我们也可以设置利用服务器屏蔽搜索器的抓取。主要原理是分析网站日志，找到搜索引擎抓取的ip，然后对其ip进行屏蔽。但是这种方法并不是很实用，毕竟不能屏蔽单页面和修改都不是很灵活。具体方法需要参考服务器设置。
总结：方法众多，只是在这里写出来供大家参考，个人觉得最使用的还是robots文件，所以其他几种方法及时可用，但是还是建议不要去做。
如对本文有疑问， 点击进行留言回复！！
2016最新百度知道留链接的方法,百度知道如何留链接不被删！
我要评论
网友评论