当前位置: 移动技术网 > 新闻>互联网 > 突破网站禁止访问妙招

突破网站禁止访问妙招

2019年03月09日  | 移动技术网新闻  | 我要评论

有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 user agent。

所以,只要把浏览器的 user agent 改为搜索引擎的爬虫即可访问其内容。对 chrome 来说就是按 f12,点下面那三个点,在菜单中选 network conditions,然后将 user agent 设置为 googlebot 即可。

@tombkeeper

如对本文有疑问, 点击进行留言回复!!

相关文章:

验证码:
移动技术网