当前位置： 移动技术网 > IT编程>脚本编程>Python > Scrapy用pipelines把字典保存为csv格式

Scrapy用pipelines把字典保存为csv格式

2019年01月07日  | 移动技术网IT编程  | 我要评论

命定限量版坏首领,香港vps,异界金刚

import csv

class myprojectpipeline(object):
# 保存为csv格式
def __init__(self):
    # 打开文件，指定方式为写，利用第3个参数把csv写数据时产生的空行消除
    self.f = open("myproject.csv","a",newline="")
    # 设置文件第一行的字段名，注意要跟spider传过来的字典key名称相同
    self.fieldnames = ["m_num","m_name","s_name","i_date","l_work","m_style","c_work"]
    # 指定文件的写入方式为csv字典写入，参数1为指定具体文件，参数2为指定字段名
    self.writer = csv.dictwriter(self.f, fieldnames=self.fieldnames)
    # 写入第一行字段名，因为只要写入一次，所以文件放在__init__里面
    self.writer.writeheader()

def process_item(self, item, spider):
    # 写入spider传过来的具体数值
    self.writer.writerow(item)
    # 写入完返回
    return item

def close(self,spider):
    self.f.close()

 

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网