当前位置： 移动技术网 > IT编程>开发语言>Java > crawler4j抓取页面使用jsoup解析html时的解决方法

crawler4j抓取页面使用jsoup解析html时的解决方法

2019年07月22日  | 移动技术网IT编程  | 我要评论

crawler4j对已有编码的页面抓取效果不错，用jsoup解析，很多会jquery的程序员都可以操作。但是，crawler4j对response没有指定编码的页面，解析成乱码，很让人烦恼。在找了苦闷之中，无意间发现一年代已久的博文，可以解决问题，修改 page.load() 中的 contentdata 编码即可，这让我心中顿时舒坦了很多，接下来的问题都引刃而解了。

复制代码 代码如下:

public void load(httpentity entity) throws exception {
 contenttype = null; 
    header type = entity.getcontenttype(); 
    if (type != null) { 
        contenttype = type.getvalue(); 
    } 

    contentencoding = null; 
    header encoding = entity.getcontentencoding(); 
    if (encoding != null) { 
        contentencoding = encoding.getvalue(); 
    } 

    charset charset = contenttype.getordefault(entity).getcharset(); 
    if (charset != null) { 
        contentcharset = charset.displayname();  
    }else{
     contentcharset = "utf-8";
    }

   //源码
   //contentdata = entityutils.tobytearray(entity); 
    //修改后的代码
    contentdata = entityutils.tostring(entity, charset.forname("gbk")).getbytes();

}

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网