当前位置： 移动技术网 > IT编程>脚本编程>Python > python正则表达式抓取成语网站

python正则表达式抓取成语网站

2019年04月02日  | 移动技术网IT编程  | 我要评论

1、首先找到一个在线成语网站

2、查看网页结构，定义正则式

看一下要抓的成语的标签有什么特点，查看源码，可以发现要抓的成语都在<a>标签中，如:<a href="/cy0/93.html">安如磐石</a>，成语事实上就是一个瞄文本，不同成语指向的链接不同，其实也就"/cy0/93.html"中的数字不同，所以正则式里匹配两次数字就行了，定义正则式 reg =   "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"。
3、上代码吧

复制代码 代码如下:

#anthor jiqunpeng
#time 20121124
import urllib
import re

def gethtml(url): #从url中读取html内容
    page = urllib.urlopen(url)
    html = page.read()
    page.close()
    return html

def getdictionary(html): #匹配成语
    reg = "<a href=\"/cy(\d+)/(\d+).html\">(.*?)</a>"  
    diclist = re.compile(reg).findall(html)
    return diclist

def getitemsite():#手工把每个字母开头的页面数统计下来
    itemsite = {}#申明为空字典
    itemsite["a"] = 3
    itemsite["b"] = 21
    itemsite["c"] = 19
    itemsite["d"] = 18
    itemsite["e"] = 2
    itemsite["f"] = 14
    itemsite["g"] = 13
    itemsite["h"] = 15
    itemsite["j"] = 23
    itemsite["k"] = 6
    itemsite["l"] = 15
    itemsite["m"] = 12
    itemsite["n"] = 5
    itemsite["o"] = 1
    itemsite["p"] = 6
    itemsite["q"] = 16
    itemsite["r"] = 8
    itemsite["s"] = 26
    itemsite["t"] = 12
    itemsite["w"] = 13
    itemsite["x"] = 16
    itemsite["y"] = 35
    itemsite["a"] = 21
    return itemsite
   

if __name__== "__main__":
    dicfile = open("dic.txt","w+")#保存成语的文件
    domainsite = "http://chengyu.itlearner.com/list/"
    itemsite = getitemsite()
    for key,values in itemsite.items():
        for index in range(1,values+1):
            site = key +"_"+str(index)+".html"             
            dictionary = getdictionary(gethtml(domainsite+site))
            for dic in dictionary:
                dicfile.write(dic[2]+"@@cy\n")#标记为成语，分词时使用
        print key+'字母成语抓取完毕'       
    dicfile.close()   
    print '全部成语抓取完毕'

把成语保存在了txt文本中，还添加了一个后缀标签。
最后注意，设计正则表达式时可能会出现明明认为是正确的，就是匹配不了，对空白字符要留意，比如说要解析：

复制代码 代码如下:

<div class="avatar_name">

                <a href="/u/kkun/" title="kkun">kkun</a>

            </div>

你看不出第一行与第二行的空白字符是什么，可以index = html.find('avatar_name')，html[4677:4677+100]看到非空白字符。

您可能感兴趣的文章:

如对本文有疑问， 点击进行留言回复！！

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网