当前位置： 移动技术网 > IT编程>脚本编程>Python > Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy

Python爬虫入门教程 37-100 云沃客项目外包网数据爬虫 scrapy

2019年02月21日  | 移动技术网IT编程  | 我要评论

魂断楼兰演员表,西南民大教务处,笔记本能换显卡么

爬前叨叨

2019年开始了，今年计划写一整年的博客呢~，第一篇博客写一下 一个外包网站的爬虫，万一你从这个外包网站弄点外快呢，呵呵哒

python3爬虫入门教程

数据分析

官方网址为 https://www.clouderwork.com/

python3爬虫入门教程

进入全部项目列表页面，很容易分辨出来项目的分页方式

get异步请求

request url:https://www.clouderwork.com/api/v2/jobs/search?ts=1546395904852&keyword=&budget_range=&work_status=&pagesize=20&pagenum=3&sort=1&scope=
request method:get
status code:200 ok

参数如下

    ts:1546395904852  # 时间戳
    keyword:   # 搜索关键字，查找全部，使用空即可
    budget_range:   # 暂时无用
    work_status:
    pagesize:20   # 每页数据量
    pagenum:3   # 页码
    sort:1   # 排序规则
    scope:

下面就是拼接请求了，确定一下 request 相关参数

accept:application/json, text/javascript, */*; q=0.01
accept-encoding:gzip, deflate, br
accept-language:zh-cn,zh;q=0.9
connection:keep-alive
cookie:
host:www.clouderwork.com
referer:https://www.clouderwork.com/jobs?keyword=
user-agent:mozilla/5.0 你自己的ua qqbrowser/10.3.3006.400
x-requested-with:xmlhttprequest

爬虫采用scrapy
这个网站没有反爬措施，所以直接上就可以了

# -*- coding: utf-8 -*-
import scrapy
from scrapy import request
import time
import json

class cloudeworkspider(scrapy.spider):
    name = 'cloudework'
    allowed_domains = ['www.clouderwork.com']
    start_url = 'https://www.clouderwork.com/api/v2/jobs/search?ts={times}&keyword=&budget_range=&work_status=&pagesize={pagesize}&pagenum={pagenum}&sort=1&scope='

    def start_requests(self):
        for page in range(1,353):
            yield request(self.start_url.format(times=time.time(),pagesize=20,pagenum=page))

    def parse(self, response):
        json_data = json.loads(response.text)
        for item in  json_data["jobs"]:
            yield item

数据存储到 mongodb中，合计爬取到 7000+ 数据

数据分析

从mongdo读取数据

import pymongo
import pandas as pd
from pandas import series,dataframe
import matplotlib.pyplot as plt

plt.rcparams['font.sans-serif']=['simhei'] #用来正常显示中文标签
plt.rcparams['axes.unicode_minus']=false #用来正常显示负号
# 连接数据库
client = pymongo.mongoclient("localhost",27017)
cloud = client["cloud"]
collection = cloud["cloudework"]

# 加载数据
data = dataframe(list(collection.find()))

结果显示为 [7032 rows x 35 columns]

查看数据基本情况

直接使用data.shape 可以查看一下数据的基本情况

查看一下工期的分布

periods = data.groupby(["period"]).size()

x = periods.index 
y = periods.values 
plt.figure()
plt.scatter(x,y, color="#03a9f4", alpha = 0.5) # 绘制图表
plt.xlim((0, 360))
plt.ylim((0, 2000))
plt.xlabel("工期")
plt.ylabel("项目数")
plt.show()

可以看到数据散点集中在0~50天

python3爬虫入门教程

过滤一下40天以内的数据

periods = data.groupby(["period"]).size().reset_index(name="count")

df = periods[periods["period"]<=40]

x = df["period"]
y = df["count"]

plt.figure()
plt.scatter(x,y,label='项目数折线',color="#ff44cc")
plt.title("工期对应项目数")
plt.xlim((0, 360))
plt.ylim((0, 500))
plt.show()

python3爬虫入门教程

发现竟然有1天工期的任务，可以瞅瞅都是什么任务

periods = data.groupby(["period"]).size()
data[data["period"]==1][["name","period"]]

python3爬虫入门教程

果然比较简单唉~~不过也没有多少钱，有个急活，1000￥

查看阅览量top10

views = data["views_count"]
top10 = views.sort_values(ascending=false)[:10]

top10 = data[data.views_count.isin(top10.values)][["name","views_count","period","summary"]]
top10

python3爬虫入门教程

查阅一下开发模式

看一下什么类型的项目比较多？？？数据上反应，web网站和app最多了，所以这方面的技能的大神么，可以冲一波了
python3爬虫入门教程

其实还有很多比较有意思的数据分析结果，有需要数据集的可以给我个评论 我发给你

新年第一篇博客结束liao~~

python3爬虫入门教程

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网