当前位置： 移动技术网 > IT编程>脚本编程>Python > 使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例

使用BeautifulSoup爬虫程序获取百度搜索结果的标题和url示例

2019年04月02日  | 移动技术网IT编程  | 我要评论

苏州到杭州汽车票价,早报论坛,车迷辰

熟悉java的jsoup包的话，对于python的beautifulsoup库应该很容易上手。

复制代码 代码如下:

#coding: utf-8
import sys
import urllib
import urllib2
from beautifulsoup import beautifulsoup

question_word = "吃货 程序员"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = beautifulsoup(htmlpage)
print len(soup.findall("table", {"class": "result"}))
for result_table in soup.findall("table", {"class": "result"}):
    a_click = result_table.find("a")
    print "-----标题----\n" + a_click.rendercontents()#标题
    print "----链接----\n" + str(a_click.get("href"))#链接
    print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).rendercontents()#描述
    print

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网