当前位置： 移动技术网 > IT编程>脚本编程>Python > Scrapy中response属性以及内容提取

Scrapy中response属性以及内容提取

2019年12月01日  | 移动技术网IT编程  | 我要评论

姐妹网,中国邮币卡一尘,评书三国演义mp3

一.属性

url ：http响应的url地址,str类型

status：http响应的状态码, int类型

headers ：http响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问

body：http响应正文, bytes类型

text：文本形式的http响应正文, str类型

response.text = response.body.decode(response.encoding)

encoding：http响应正文的编码

reqeust：产生该http响应的reqeust对象

meta：即response.request.meta, 在构造request对象时, 可将要传递给响应处理函数的信息通过meta参数传入, 响应处理函数处理响应时, 通过response.meta将信息提取出来

selector：selector对象用于在response中提取数据使用下面详细将,主要是 xpath,css取值之后的处理

xpath(query)：下面详细讲解

css(query) ：下面详细讲解

urljoin(url) ：用于构造绝对url, 当传入的url参数是一个相对地址时, 根据response.url计算出相应的绝对url.

二.selector对象

  • selector 对象和selectorlist对象都有以下几种方法。

  • extract() 返回选中内容的unicode字符串

  • re("正则表达式") 正则提取

  • extract_first()(selectorlist独有)

    返回列表中的第一个元素内容

  • re_first()(selectorlist独有)

    返回列表中的第一个元素内容

三.css

response.css('css选择器')返回值是selector对象

获取一个

response.css('css选择器').extract_first()

获取全部

response.css('css选择器').extract()

获取其中某个属性

response.css('css选择器::attr(属性名)').extract()

只要标签里的文本

(response.css('css选择器::text').extract()

四.xpath

response.css('xpath选择器')返回值是selector对象

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网