我要评论不同于我们普通爬虫获取xpath,scrapy获得xpath对象获取他的值语法
一.xpath对象获取值
xpath对象..extract()
二.scrapy框架独有的xpath取值方式
- 利用href配合正则表达式定位
response.xpath('//a[re:test(@href,"^\/index\.php\?m=news&a=details&id=1&newsid=\d{1,4}")]')
- 利用text结合正则表达式定位
a=response.xpath('//a[re:test(text(),"\w{4}")]')
- xpath还有对于html元素操作的两个实用的函数（可以用正则表达式代替）——starts-with和contains；
a=response.xpath('//a[starts-with(@title,"注册时间")]') #以什么开头
a=response.xpath('//a[contains(text(),"闻")]') #包含
如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！
网友评论