看了下日志，发现有几条类似这样的：
2010-07-27 16:03:33 w3svc1129513256 221.192.135.26 get /a/view/18691.html - 80 - 203.208.60.251 mediapartners-google 200 0 0
mediapartners-google是什么，搜索一下，原来是google adsense的漫游器。
以下内容来自 网站管理员支持中心
我希望网站的某些网页不被编入索引，但要在这些页上显示 adsense 广告。能否满足我的这一要求？
可以。您可以在这些网页上禁用 (disallow) 除 mediapartners-google 之外的所有漫游器。这样可确保不将网页编入索引，但可让 googlebot-mediapartners 漫游器分析这些网页，以确定是否显示广告。googlebot-mediapartners 漫游器不与其他 google 用户代理共享网页。例如，您可以使用下列条目：
user-agent:*
disallow:/folder1/
user-agent:mediapartners-google
allow:/folder1/
如何拦截 googlebot？
拦截 googlebot
google 使用多个 user-agent。您可以在条目的 user-agent 行中包含漫游器名称来拦截对网页的访问。拦截 googlebot 将会拦截所有以"googlebot"开头的漫游器。
googlebot：从我们的网站索引和新闻索引中抓取网页
googlebot-mobile：针对我们的移动索引抓取网页
googlebot-image：针对我们的图片索引抓取网页
mediapartners-google：抓取网页确定 adsense 的内容。只有在您的网站上展示 adsense 广告的情况下，我们才会使用此漫游器来抓取您的网站。
adsbot-google：抓取网页来衡量 adwords 目标网页的质量。只有在您使用 adwords 为您的网站做广告的情况下，我们才会使用此漫游器。参阅关于此漫游器的更多信息以及如何在您的网站上执行部分拦截。
例如，要完全拦截 googlebot，您可以使用下列语法：
user-agent:googlebot disallow:/
允许 googlebot
如果您要拦截除 googlebot 以外的所有漫游器访问您的网页，可以使用下列语法：
user-agent:disallow:/
user-agent:googlebot
disallow:
googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。
"allow"扩展名
googlebot 可识别称为"allow"的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。"allow"行的作用原理完全与"disallow"行一样。只需列出您要允许的目录或页面即可。
您也可以同时使用"disallow"和"allow"。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目：
user-agent:googlebot
disallow:/folder1/
allow:/folder1/myfile.html
这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。
如果您要拦截 googlebot 并允许 google 的另一个漫游器（如 googlebot-mobile），可使用"allow"规则允许该漫游器的访问。例如：
user-agent:googlebot
disallow:/
user-agent:googlebot-mobile
allow:
如对本文有疑问， 点击进行留言回复！！
我要评论
网友评论