当前位置： 移动技术网 > IT编程>脚本编程>Python > Python简单实现网页内容抓取功能示例

Python简单实现网页内容抓取功能示例

2018年08月19日  | 移动技术网IT编程  | 我要评论

清明节是法定假日吗,红塔山烟价格表,聂耳简介

本文实例讲述了python简单实现网页内容抓取功能。分享给大家供大家参考，具体如下：

使用模块：

import urllib2 
import urllib

普通抓取实例：

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib2
url = 'http://www.baidu.com'
#创建request对象
request = urllib2.request(url)
#发送请求，获取结果
try:
 response = urllib2.urlopen(request)
except baseexception, err:
 print err
 exit()
#获取状态码，如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

get请求抓取实例：

#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib2
import urllib
#urllib2使用get方式的请求
url = 'http://www.baidu.com/s'
values = {'wd' : '车云'}
# 必须编码
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%e8%bd%a6%e4%ba%91
#创建request对象
request = urllib2.request(url)
#发送请求，获取结果
try:
 response = urllib2.urlopen(request)
except baseexception, err:
 print err
 exit()
#获取状态码，如果是200表示获取成功
code = response.getcode()
print code
#读取内容
if 200 == code:
 content = response.read() 
 print content

更多关于python相关内容可查看本站专题：《python socket编程技巧总结》、《python正则表达式用法总结》、《python数据结构与算法教程》、《python函数使用技巧总结》、《python字符串操作技巧汇总》、《python入门与进阶经典教程》及《python文件与目录操作技巧汇总》

希望本文所述对大家python程序设计有所帮助。

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网