|
对应user-agent |
无线搜索 | baiduspider-mobile |
图片搜索 | baiduspider-image |
视频搜索 | baiduspider-video |
新闻搜索 | baiduspider-news |
百度搜藏 | baiduspider-favo |
百度联盟 | baiduspider-cpro |
百度推广 | baiduspider-sfkr |
网页以及其他搜索 | baiduspider |
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.
您可以根据各产品不同的user-agent设置不同的抓取规则,如果您想完全禁止百度所有的产品收录,可以直接对baiduspider设置禁止抓取。
以下robots实现禁止所有来自百度的抓取:
user-agent: baiduspider
disallow: /
以下robots实现仅禁止来自百度视频搜索的抓取:
user-agent: baiduspider-video
disallow: /
以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录:
user-agent: baiduspider
disallow: /
user-agent: baiduspider-image
allow: /image/
如对本文有疑问, 点击进行留言回复!!
网友评论