有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 user agent。
所以,只要把浏览器的 user agent 改为搜索引擎的爬虫即可访问其内容。对 chrome 来说就是按 f12,点下面那三个点,在菜单中选 network conditions,然后将 user agent 设置为 googlebot 即可。
@tombkeeper
如对本文有疑问, 点击进行留言回复!!
美议员质问为何封特朗普儿子账号,扎克伯格:推特干的
网游实名制系统将升级:如何打击违规游戏平台
男子“翻墙”访问境外色情网站,被行政处罚
腾讯计划全资收购搜狗搜索
微信在印度停止服务
印度再禁47款中国应用
华为申请中止将孟晚舟引渡到美国
微博对“宣扬仇恨”进行界定并开展专项整顿
美国国会将禁止在政府设备上使用TikTok
3个热门工具,帮你做Google SEO网站分析
网友评论