当前位置: 移动技术网 > IT编程>移动开发>Android > android使用Jsoup 抓取页面的数据

android使用Jsoup 抓取页面的数据

2019年07月24日  | 移动技术网IT编程  | 我要评论

夜莺工作室,宅腐资源站,扬州办毕业证

jsoup 是一款java 的html解析器,可直接解析某个url地址、html文本内容。它提供了一套非常省力的api,可通过dom,css以及类似于jquery的操作方法来取出和操作数据。

jsoup的官方中文地址:
在这个网站上你可以找到一些说明,.jar文件的下载,doc文档的说明等等 

jsoup的主要功能如下:

  1. 从一个url,文件或字符串中解析html;
  2. 使用dom或css选择器来查找、取出数据;
  3.  可操作html元素、属性、文本;

jsoup是基于mit协议发布的,可放心使用于商业项目。

jsoup类下面的方法都是静态可直接调用。几个方法的说明  

connect()方法,获得一个connection,然后调用connection对象get()方法获得document对象。然后再解析document对象  connection提供了一些设置方法timeout(),url()等等 

这里贴一下我用到的 java工程的测试代码 

package com.javen.jsoup;

import java.io.ioexception;

import org.jsoup.jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.element;
import org.jsoup.select.elements;

public class jsouptest {
  static string url="http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html";
  /**
   * @param args
   * @throws exception
   */
  public static void main(string[] args) throws exception {
    
    // todo auto-generated method stub
    bolgbody();
    //test();
    //blog();
    /*
     * document doc = jsoup.connect("//www.jb51.net/")
     * .data("query", "java") // 请求参数 .useragent("i ' m jsoup") // 设置
     * user-agent .cookie("auth", "token") // 设置 cookie .timeout(3000) //
     * 设置连接超时时间 .post();
     */// 使用 post 方法访问 url

    /*
     * // 从文件中加载 html 文档 file input = new file("d:/test.html"); document doc
     * = jsoup.parse(input,"utf-8","//www.jb51.net/");
     */
  }

  /**
   * 获取指定html 文档指定的body
   * @throws ioexception
   */
  private static void bolgbody() throws ioexception {
    // 直接从字符串中输入 html 文档
    string html = "<html><head><title> 开源中国社区 </title></head>"
        + "<body><p> 这里是 jsoup 项目的相关文章 </p></body></html>";
    document doc = jsoup.parse(html);
    system.out.println(doc.body());
    
    
    // 从 url 直接加载 html 文档
    document doc2 = jsoup.connect(url).get();
    string title = doc2.body().tostring();
    system.out.println(title);
  }

  /**
   * 获取博客上的文章标题和链接
   */
  public static void article() {
    document doc;
    try {
      doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
      elements listdiv = doc.getelementsbyattributevalue("class","posttitle");
      for (element element :listdiv) {
        elements links = element.getelementsbytag("a");
        for (element link : links) {
          string linkhref = link.attr("href");
          string linktext = link.text().trim();
          system.out.println(linkhref);
          system.out.println(linktext);
        }
      }
    } catch (ioexception e) {
      // todo auto-generated catch block
      e.printstacktrace();
    }

  }
  /**
   * 获取指定博客文章的内容
   */
  public static void blog() {
    document doc;
    try {
      doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
      elements listdiv = doc.getelementsbyattributevalue("class","postbody");
      for (element element :listdiv) {
        system.out.println(element.html());
      }
    } catch (ioexception e) {
      // todo auto-generated catch block
      e.printstacktrace();
    }
    
  }

}

下面来介绍android中使用jsoup异步解析网页的数据 请注意: 这里很容易遇到一个乱码的问题

配置文件:androidmanifest.xml中加 权限

<uses-permission android:name="android.permission.internet"></uses-permission>

layout的布局文件

<linearlayout xmlns:android="http://schemas.android.com/apk/res/android"
  xmlns:tools="http://schemas.android.com/tools"
  android:layout_width="match_parent"
  android:layout_height="match_parent"
  android:orientation="vertical" >

  <webview
    android:id="@+id/webview"
    android:layout_width="fill_parent"
    android:layout_height="200dp" />

  <scrollview
    android:layout_width="wrap_content"
    android:layout_height="wrap_content" >

    <textview
      android:id="@+id/textview"
      android:layout_width="wrap_content"
      android:layout_height="wrap_content"
      android:text="@string/hello_world" />
  </scrollview>

</linearlayout>

主要异步加载数据的代码

package com.javen.aaa;

import java.io.bufferedreader;
import java.io.ioexception;
import java.io.inputstreamreader;
import java.net.url;

import org.jsoup.jsoup;
import org.jsoup.nodes.document;
import org.jsoup.nodes.element;
import org.jsoup.select.elements;

import android.app.activity;
import android.app.dialog;
import android.app.progressdialog;
import android.os.asynctask;
import android.os.bundle;
import android.util.log;
import android.webkit.webview;
import android.widget.textview;

public class mainactivity extends activity {
  private webview webview;
  private textview textview;
  private static final int dialog_key = 0;
  @override
  protected void oncreate(bundle savedinstancestate) {
    super.oncreate(savedinstancestate);
    setcontentview(r.layout.main);
    webview = (webview) findviewbyid(r.id.webview);
    textview=(textview) findviewbyid(r.id.textview);
    try {
      progressasynctask asynctask=new progressasynctask(webview,textview);
      asynctask.execute(10000);
    } catch (exception e) {
      // todo auto-generated catch block
      e.printstacktrace();
    }
  }
  
  public string test() {
    stringbuffer buffer=new stringbuffer();
    document doc;
    try {
      doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/").get();
      elements listdiv = doc.getelementsbyattributevalue("class","posttitle");
      for (element element :listdiv) {
        elements links = element.getelementsbytag("a");
        for (element link : links) {
          string linkhref = link.attr("href");
          string linktext = link.text().trim();
          buffer.append("linkhref=="+linkhref);
          buffer.append("linktext=="+linktext);
          
          system.out.println(linkhref);
          system.out.println(linktext);
        }
      }
    } catch (ioexception e) {
      // todo auto-generated catch block
      e.printstacktrace();
    }
    return buffer.tostring();

  }

    // 弹出"查看"对话框
    @override
    protected dialog oncreatedialog(int id) {
      switch (id) {
      case dialog_key: {
        progressdialog dialog = new progressdialog(this);
        dialog.setmessage("获取数据中 请稍候...");
        dialog.setindeterminate(true);
        dialog.setcancelable(true);
        return dialog;
      }
      }
      return null;
    }
    
    public static string readhtml(string myurl) {
      stringbuffer sb = new stringbuffer("");
      url url;
      try {
        url = new url(myurl);
        bufferedreader br = new bufferedreader(new inputstreamreader(url.openstream(), "gbk"));
        string s = "";
        while ((s = br.readline()) != null) {
          sb.append(s + "\r\n");
        }
      } catch (exception e) {
        e.printstacktrace();
      }
      return sb.tostring();
    }
  
  class progressasynctask extends asynctask<integer, integer, string> {

    private webview webview;
    private textview textview;
    public progressasynctask(webview webview,textview textview) {
      super();
      this.webview=webview;
      this.textview=textview;
    }

    /**
     * 这里的integer参数对应asynctask中的第一个参数 这里的string返回值对应asynctask的第三个参数
     * 该方法并不运行在ui线程当中,主要用于异步操作,所有在该方法中不能对ui当中的空间进行设置和修改
     * 但是可以调用publish progress方法触发onprogressupdate对ui进行操作
     */
    @override
    protected string doinbackground(integer... params) {
      string str =null;
      document doc = null;
      try {
//        string url ="http://www.cnblogs.com/zyw-205520/p/3355681.html";
//        
//        doc= jsoup.parse(new url(url).openstream(),"utf-8", url);
//        //doc = jsoup.parse(readhtml(url));
//        //doc=jsoup.connect(url).get();
//        str=doc.body().tostring();
        doc = jsoup.connect("http://www.cnblogs.com/zyw-205520/archive/2012/12/20/2826402.html").get();
        elements listdiv = doc.getelementsbyattributevalue("class","postbody");
        for (element element :listdiv) {
          str=element.html();
          system.out.println(element.html());
        }
        log.d("doinbackground", str.tostring());
        system.out.println(str);
        //你可以试试gbk或utf-8
      } catch (exception e) {
        // todo auto-generated catch block
        e.printstacktrace();
      }
      return str.tostring() ;
      //return test();
    }

    /**
     * 这里的string参数对应asynctask中的第三个参数(也就是接收doinbackground的返回值)
     * 在doinbackground方法执行结束之后在运行,并且运行在ui线程当中 可以对ui空间进行设置
     */
    @override
    protected void onpostexecute(string result) {
      webview.loaddata(result, "text/html;charset=utf-8", null);
      textview.settext(result);
      removedialog(dialog_key);
    }

    // 该方法运行在ui线程当中,并且运行在ui线程当中 可以对ui空间进行设置
    @override
    protected void onpreexecute() {
      showdialog(dialog_key);
    }

    /**
     * 这里的intege参数对应asynctask中的第二个参数
     * 在doinbackground方法当中,,每次调用publishprogress方法都会触发onprogressupdate执行
     * onprogressupdate是在ui线程中执行,所有可以对ui空间进行操作
     */
    @override
    protected void onprogressupdate(integer... values) {
      
    }
  }

}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持移动技术网。

如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复

相关文章:

验证码:
移动技术网