节日灯,christy mack 种子,英语文摘合订本
爬虫有请求库(request、selenium)、解析库、存储库(MongoDB、Redis)、工具库,此节学习安装常用库的安装
>>> import urllib >>> import urllib.request >>> urllib.request.urlopen("http://www.baidu.com") <http.client.HTTPResponse object at 0x0000000002F05F60> >>> import re
导入时,没有回显,就表示安装正确,可以正常使用
>>> import requests >>> requests.get("http://www.baidu.com") <Response [200]>
>>> import selenium >>> from selenium import webdriver
>>> from selenium import webdriver >>> driver = webdriver.Chrome()
运行后,会打开一个谷歌浏览器,此外需要注意的是chrome版本需要大于等于55,因为驱动是这样的要求
PhantomJS 是一个基于WebKit的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速,原生支持各种Web标准: DOM 处理, CSS 选择器, JSON, Canvas, 和 SVG。PhantomJS可以用于页面自动化,网络监测,网页截屏,以及无界面测试等。
简而言之:基于WebKit的,没有界面的浏览器。
闪亮的功能点:PhantomJS可以用于页面自动化,网络监测,网页截屏,以及无界面测试。
优势:跨平台,易上手。
安装步骤:
ps:chrome headlessl可以替代phantomjs,为什么呢?因为selenium不再支持phantomjs了
测试代码(刚刚百度来的):这个是chrome的示例
from selenium import webdriver options=webdriver.ChromeOptions() options.set_headless() # options.add_argument('--headless') options.add_argument('--disable-gpu') driver=webdriver.Chrome(options=options) driver.get('http://httpbin.org/user-agent') driver.get_screenshot_as_file('test.png') driver.close()
FireFox浏览器的示例:
from selenium import webdriver options = webdriver.FirefoxOptions() options.set_headless() # options.add_argument('-headless') options.add_argument('--disable-gpu') driver=webdriver.Firefox(firefox_options=options) driver.get('http://httpbin.org/user-agent') driver.get_screenshot_as_file('test.png') driver.close()
简介:lxml是python中处理xml的一个非常强大的库,可以非常方便的解析和生成xml文件。
简介:Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。
安装步骤:
>>> from bs4 import BeautifulSoup >>> soup = BeautifulSoup('<html></html>','lxml') >>>
简介:pyquery相当于jQuery的python实现,可以用于解析HTML网页等。它的语法与jQuery几乎完全相同。
安装步骤:
>>> from pyquery import PyQuery as pq >>> doc = pq('<html>Python</html>') >>> result = doc('html').text() >>> result 'Python'
pyquery的基础使用方法可以参考:https://www.cnblogs.com/lei0213/p/7676254.html
简介:PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库
安装步骤:
>>> import pymysql >>> conn = pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='mysql') >>> cursor = conn.cursor() >>> cursor.execute('select * from db') 2 >>> cursor.fetchone() ('localhost', 'performance_schema', 'mysql.session', 'Y', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N') >>> cursor.fetchall() (('localhost', 'sys', 'mysql.sys', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'N', 'Y'),)
简介:PyMongo是驱动程序,使python程序能够使用Mongodb数据库,使用python编写而成
安装步骤:
>>> import pymongo >>> client = pymongo.MongoClient('localhost') >>> db = client['newtest'] >>> db['table'].insert({'name':'python'}) ObjectId('5abe67d64bc36b29c0a61a03') >>> db['table'].find_one({'name':'python'}) {'_id': ObjectId('5abe67d64bc36b29c0a61a03'), 'name': 'python'}
简介:Python分布式爬虫比較经常使用的应该是scrapy框架加上Redis内存数据库,中间的调度任务等用scrapy-redis模块实现。
安装步骤:
#数据的插入和获取 >>> import redis >>> r = redis.Redis('localhost',6379) >>> r.set('name','python') True >>> r.get('name')
简介:Flask是一个Python编写的Web 微框架,让我们可以使用Python语言快速实现一个网站或Web服务
安装步骤:
from flask import Flask app = Flask(__name__) @app.route('/') def hello_world(): return 'Hello World!' if __name__ == '__main__': app.run()
参考文档:官方文档:http://docs.jinkan.org/docs/flask/
简介:web服务器框架
安装步骤:
安装步骤:
生活过于安逸,是感觉不到行业的竞争压力,所以还是多学习,增强自己的测试的核心竞争能力吧。
如对本文有疑问,请在下面进行留言讨论,广大热心网友会与你互动!! 点击进行留言回复
Python 实现将numpy中的nan和inf,nan替换成对应的均值
python爬虫把url链接编码成gbk2312格式过程解析
网友评论