当前位置： 移动技术网 > IT编程>脚本编程>Python > python使用scrapy解析js示例

python使用scrapy解析js示例

2019年04月02日  | 移动技术网IT编程  | 我要评论

贵阳电视台直播,刀剑神域第二季9,蓬溪二手房网

复制代码 代码如下:

from selenium import selenium

class myspider(crawlspider):
    name = 'cnbeta'
    allowed_domains = ['cnbeta.com']
    start_urls = ['//www.jb51.net']

    rules = (
        # extract links matching 'category.php' (but not matching 'subsection.php')
        # and follow links from them (since no callback means follow=true by default).
        rule(sgmllinkextractor(allow=('/articles/.*\.htm', )),
             callback='parse_page', follow=true),

        # extract links matching 'item.php' and parse them with the spider's method parse_item
    )

    def __init__(self):
        crawlspider.__init__(self)
        self.verificationerrors = []
        self.selenium = selenium("localhost", 4444, "*firefox", "//www.jb51.net")
        self.selenium.start()

    def __del__(self):
        self.selenium.stop()
        print self.verificationerrors
        crawlspider.__del__(self)


    def parse_page(self, response):
        self.log('hi, this is an item page! %s' % response.url)
        sel = selector(response)
        from webproxy.items import webproxyitem

        sel = self.selenium
        sel.open(response.url)
        sel.wait_for_page_to_load("30000")
        import time

        time.sleep(2.5)

您可能感兴趣的文章:

如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复

相关文章:

验证码：
最近更新的文章
大家感兴趣的文章
移动技术网