【CSDN搬家到WordPress】CSDN搬家到WordPress和自动同步_Python

需要环境：

Python3.6
Scrapy
PyMySQL
安装模块
推荐使用anaconda安装新模块，在命令行中输入：

conda install -c conda-forge scrapy
conda install -c anaconda pymysql
1
2
创建项目
创建Scrapy项目，在命令行中输入：

scrapy startproject myblog
1
爬取信息
我们需要的数据有文章标题，文章链接，发表日期，文章内容，在item.py中定义我们要爬取的字段

import scrapy
class MyblogItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
href = scrapy.Field()
date = scrapy.Field()
content = scrapy.Field()
pass

通过观察，发现CSDN的文章列表链接为：
https://blog.csdn.net/用户名/article/list/页数
所以我们创建spider/list_spider.py，用来抓取和分析网页。此时目录结构为：

myblog
│ items.py
│ middlewares.py
│ pipelines.py
│ settings.py
│ __init__.py
│
├─spiders
│ │ list_spider.py
│ │ __init__.py
│ │
│ └─__pycache__
│ list_spider.cpython-36.pyc
│ __init__.cpython-36.pyc
│
└─__pycache__
settings.cpython-36.pyc
__init__.cpython-36.pyc

在list_spider.py中编写ListSpider类，构造访问请求：

import scrapy
class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]

然后再编写parser()函数，用来解析网页：

从网页中提取数据有很多方法。Scrapy使用了一种基于 XPath 和 CSS 表达式机制: Scrapy Selectors 。关于selector和其他提取机制的信息请参考 Selector文档。

这里给出XPath表达式的例子及对应的含义:

/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素
/html/head/title/text(): 选择上面提到的 <title> 元素的文字
//td: 选择所有的 <td> 元素
//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素
def parse(self, response):
for item in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
url = item.xpath("h4/a/@href").extract()
title = item.xpath("h4/a/text()").extract()[1].strip()
date = item.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()
print([url, title, date])

打印后可以看到如下信息：

'date': '2018-09-30 17:27:01',
'title': '银行业务队列简单模拟',
'url': 'https://blog.csdn.net/qq_42623428/article/details/82912058'}

使用item
Item 对象是自定义python字典。您可以使用标准的字典语法来获取到其每个字段的值。(字段即是我们之前用Field赋值的属性):

>>> item = MyblogItem()
>>> item['title'] = 'Example title'
>>> item['title'] = 'Example title'

为了将爬取的数据返回，我们最终的代码是:

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/4",
]
def parse(self, response):
for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = data.xpath("h4/a/@href").extract()[0]
item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
url = data.xpath("h4/a/@href").extract()[0]
request = scrapy.Request(url, callback=self.parse_dir_contents)
request.meta['item'] = item
yield request

#在某些情况下，您如果希望在回调函数们之间传递参数，可以使用Request.meta
def parse_dir_contents(self, response):
item = response.meta['item']
item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
yield item

这样，我们就可以保存所有我们需要的信息，但现在还有一个问题：我们刚才所进行的操作是将该博客目录的某一页的文章采集下来，但如果我们的博客目录有多页，我们想要将所有的文章采集下来呢？

我们在文章列表第一页https://blog.csdn.net/qq_42623428/article/list/1的基础上，改变最后的数字，就可以访问对应的页数，从1开始循环，当判断下一页内容为空时停止，我们对spider再作改进。

import scrapy
from myblog.items import MyblogItem

class ListSpider(scrapy.Spider):
name = "list"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"https://blog.csdn.net/qq_42623428/article/list/1",
]

def parse(self, response):
for data in response.xpath("//div[@class='article-list']//div[@class='article-item-box csdn-tracking-statistics']")[1:]:
item = MyblogItem()
item['url'] = data.xpath("h4/a/@href").extract()[0]
item['title'] = data.xpath("h4/a/text()").extract()[1].strip()
item['date'] = data.xpath("div['info-box d-flex align-content-center']/p[1]/span/text()").extract()[0]
url = data.xpath("h4/a/@href").extract()[0]
request = scrapy.Request(url, callback=self.parse_dir_contents)
request.meta['item'] = item
yield request

next_url = response.url.split('/')
next_url[-1] = str(int(next_url[-1])+1)
next_url = '/'.join(next_url)
yield scrapy.Request(next_url, callback=self.isEmpty)

def isEmpty(self, response):
content = response.xpath("//main/div[@class='no-data d-flex flex-column justify-content-center align-items-center']").extract()
if content == [] :
return self.parse(response)

def parse_dir_contents(self, response):
item = response.meta['item']
item['content'] = response.xpath("//article/div[@class='article_content clearfix csdn-tracking-statistics']/div[@class='markdown_views prism-atom-one-light']").extract()[0]
yield item

保存数据
在命令行中输入命令：

scrapy crawl list -o items.json
1
该命令将采用 JSON 格式对爬取的数据进行序列化，生成 items.json 文件。

同步数据
Item Pipeline
为了保证采集到的数据与CSDN博客同步，当博客内容更新之后，我们必须再次爬取数据。但再次爬取的数据与已经保存的数据有重合，所以我们需要对新爬取的数据进行验证后再同步到WordPress。于是我们需要使用到Item Pipeline。

当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。

每个item pipeline组件(有时称之为Item Pipeline)是实现了简单方法的Python类。他们接收到Item并通过它执行一些行为，同时也决定此Item是否继续通过pipeline，或是被丢弃而不再进行处理。

以下是item pipeline的一些典型应用：

清理HTML数据

验证爬取的数据(检查item包含某些字段)

查重(并丢弃)

将爬取结果保存到数据库中

PyMySQL
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库。

项目地址
参考文档
Scrapy 1.0 中文文档 https://scrapy-chs.readthedocs.io/zh_CN/1.0/
PyMySQL 0.9.2 https://pypi.org/project/PyMySQL/
---------------------
作者：Willimt
来源：CSDN
原文：https://blog.csdn.net/qq_40531392/article/details/83474782
版权声明：本文为博主原创文章，转载请附上博文链接！

CSDN博客搬家到WordPress

原文:

CsdnBlogMover(CSDN博客搬家程序)发布

1、安装BeautifulSoup：

2、修改"blog_mover.py"：

将
"from BeautifulSoup import BeautifulSoup"
替换为
"from bs4 import BeautifulSoup"

否则，执行"./blog_mover.py -s http://blog.csdn.net/duyiwuer2009"时将失败

3、选择WordPress插件：

4、将生成的xml文件中的

[html]

<pre class="cpp" name="code">

替换成

[html]

[codesyntax lang="cpp"]
<pre>

后可与兼容 WordPress的WP-SynHighlight插件

5、用WordPress Importer进行导入

心得：不到万不得已，最好不要“搬家”，因为搬到WordPress之后，由于两边的样式不同，导致WordPress的版面相当难看

本文地址：https://blog.csdn.net/bandaoyu/article/details/85963608

您可能感兴趣的文章:

如您对本文有疑问或者有任何想说的，请点击进行留言回复，万千网友为您解惑！

【CSDN搬家到WordPress】CSDN搬家到WordPress和自动同步

2020年07月11日 | 移动技术网IT编程 | 我要评论

CSDN博客搬家到WordPress

您可能感兴趣的文章:

相关文章:

网友评论


验证码：