龚泽惠,巴厘岛旅游带多少钱,周韦彤 fhm
一、乱码问题描述
经常在爬虫或者一些操作的时候，经常会出现中文乱码等问题，如下
原因是源网页编码和爬取下来后的编码格式不一致
二、利用encode与decode解决乱码问题
字符串在python内部的表示是unicode编码，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
decode的作用是将其他编码的字符串转换成unicode编码，如str1.decode(‘gb2312')，表示将gb2312编码的字符串str1转换成unicode编码。
encode的作用是将unicode编码转换成其他编码的字符串，如str2.encode(‘utf-8')，表示将unicode编码的字符串str2转换成utf-8编码。
decode中写的就是想抓取的网页的编码，encode即自己想设置的编码
代码如下
我要评论
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: xulinjie time:2017/10/22
import urllib2
request=urllib2.request(r'http://nhxy.zjxu.edu.cn/')
res=urllib2.urlopen(request).read()
res = res.decode('gb2312').encode('utf-8')//解决乱码
wfile=open(r'./1.html',r'wb')
wfile.write(res)
wfile.close()
print res
或者
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: xulinjie time:2017/10/22
import urllib2
request=urllib2.request(r'http://nhxy.zjxu.edu.cn/')
res=urllib2.urlopen(request).read()
res=res.decode('gb2312')
res=res.encode('utf-8')
wfile=open(r'./1.html',r'wb')
wfile.write(res)
wfile.close()
print res
但是还要注意：
如果一个字符串已经是unicode了，再进行解码则将出错，因此通常要对其编码方式是否为unicode进行判断
isinstance(s, unicode)#用来判断是否为unicode
用非unicode编码形式的str来encode会报错
所以最终可靠代码：
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: xulinjie time:2017/10/22
import urllib2
request=urllib2.request(r'http://nhxy.zjxu.edu.cn/')
res=urllib2.urlopen(request).read()
if isinstance(res, unicode):
res=res.encode('utf-8')
else:
res=res.decode('gb2312').encode('utf-8')
wfile=open(r'./1.html',r'wb')
wfile.write(res)
wfile.close()
print res
三、如何找到需要抓取的目标网页的编码格式
1、查看网页源代码
如果源代码中没有charset编码格式显示可以用下面的方法
2、检查元素，查看response headers
以上所述是小编给大家介绍的python解决抓取内容乱码问题（decode和encode解码）详解整合，希望对大家有所帮助
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
网友评论