奥比岛领航员,什么是卫星电话,迅雷 资源
先看效果图: 
1.确认访问的url
2.模拟登录你的qq号
3.判断好友空间是否加了权限，切换到说说的frame，爬取当前页面数据，下拉滚动条，翻页继续获取 爬取的内容写入本地txt文件中
4.爬取到最后一页，读取txt文件从而生成词云
1.确认访问的url
这就很简单了，我们通过观察发现，qq空间好友的url：
{好友qq号}/311
2.我们在请求的时候会遇到模拟登录，也就是要通过selenium+浏览器登录你的qq号后才能访问你好友的qq空间
下面是模拟登录的代码：
我要评论 1 file = 'c:/users/administrator/desktop/{}.txt'.format(qq)
2 driver = webdriver.firefox()
3 driver.maximize_window() #窗口最大化
4
5 driver.get('https://user.qzone.qq.com/{}/311'.format(qq)) #url
6 driver.implicitly_wait(10) # 隐示等待，为了等待充分加载好网址
7 driver.find_element_by_id('login_div')
8 driver.switch_to_frame('login_frame') #切到输入账号密码的frame
9 driver.find_element_by_id('switcher_plogin').click()##点击‘账号密码登录’
10 driver.find_element_by_id('u').clear() ##清空账号栏
11 driver.find_element_by_id('u').send_keys('你的qq账号')#输入账号
12 driver.find_element_by_id('p').clear()#清空密码栏
13 driver.find_element_by_id('p').send_keys('你的qq密码')#输入密码
14 driver.find_element_by_id('login_button').click()#点击‘登录’
15 driver.switch_to_default_content() #跳出当前的frame，这步很关键，不写会报错的，因为你登录后还要切刀另一个frame
需要强调是 driver.switch_to_default_content() ，表示跳出当前的frame，这步很关键，因为你登录后还要切刀另一个frame。不写的话会出现下面的错误：
3.第三部分我分几个点来说：
(1).判断空间是否加了权限
1 try:
2 driver.find_element_by_id('qm_ownerinfo_icon')#判断是否qq空间加了权限
3 b = true
4 except:
5 b = false
(2)切换到说说的frame，这个大家都会找吧 
(3)下拉滚动条
下拉滚动条是为了点击‘下一页’，下拉到可见视图。下拉滚动条要注意一点：
一定要对应它的frame，不要在爬取说说的frame下拉。
1 #分4此下拉，确保能下拉到底部
2 for j in range(1, 5):
3 driver.execute_script("window.scrollby(0,5000)")
4 time.sleep(2)
(4)爬取说说数据，这就简单了吧？我用的xpath获取的说说的title，感兴趣的朋友可以把时间等数据一起获取
1 selector = etree.html(driver.page_source)
2 title = selector.xpath('//li/div/div/pre/text()')
(5).翻页
直接点击‘下一页’即可。
1 driver.find_element_by_link_text(u'下一页').click()
(6).txt数据写入，不用多说，爬取到title了直接写入
1 for i in title:
2 if not os.path.exists(file):
3 print('创建txt成功')
4
5 with open(file, 'a+') as f:
6 f.write(i + '\n\n')
7 f.close()
4.生成词云，这只是普通的模式，想具体了解可以看我以前文章或者google
1 def get_wordcloud(file):
2
3
4 f = open(file, 'r', encoding='gbk').read()
5
6 # 结巴分词，生成字符串，wordcloud无法直接生成正确的中文词云
7 cut_text = " ".join(jieba.cut(f))
8
9 wordcloud = wordcloud(
10 # 设置字体，不然会出现口字乱码，文字的路径是电脑的字体一般路径，可以换成别的
11 font_path="c:/windows/fonts/simfang.ttf",
12 # 设置了背景，宽高
13 background_color="white", width=2000, height=1380).generate(cut_text)
14
15 plt.imshow(wordcloud, interpolation="bilinear")
16 plt.axis("off")
17 plt.show()
18#python学习交流群：548377875
由于时间问题，此篇文章只支持输入一个好友的qq号，你要是想爬取你的所有的qq好友的说说，可以现在qq邮箱获取你所有好友的qq号，然后生成一个数组，依次获取就可以了。
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
新手学习Python2和Python3中print不同的用法
Python基于os.environ从windows获取环境变量
网友评论