可以允许不完美,但不能不做

Scrapy

简介

Scrapy是一个应用程序框架,用于对网站进行爬行和提取结构化数据,这些结构化数据可用于各种有用的应用程序,如数据挖掘、信息处理或历史存档。

尽管Scrapy最初是为 web scraping 它还可以用于使用API提取数据(例如 Amazon Associates Web Services )或者作为一个通用的网络爬虫。

浏览示例 Spider

为了向您展示Scrapy给桌子带来了什么,我们将用最简单的方法来运行一个Scrapy Spider 的例子。

以下是一个 Spider 代码,它从网站http://quotes.toscrape.com上抓取著名的引语,按照以下页码:

import scrapy

class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = [
        'http://quotes.toscrape.com/tag/humor/',
    ]

    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'text': quote.css('span.text::text').get(),
                'author': quote.xpath('span/small/text()').get(),
            }

        next_page = response.css('li.next a::attr("href")').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

把它放在一个文本文件中,命名为 quotes_spider.py 然后用 runspider 命令:

scrapy runspider quotes_spider.py -o quotes.json

完成后,您将 quotes.json 以JSON格式提交一个引号列表,其中包含文本和作者,如下所示(此处重新格式化以提高可读性):

[{
    "author": "Jane Austen",
    "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"
},
{
    "author": "Groucho Marx",
    "text": "\u201cOutside of a dog, a book is man's best friend. Inside of a dog it's too dark to read.\u201d"
},
{
    "author": "Steve Martin",
    "text": "\u201cA day without sunshine is like, you know, night.\u201d"
},
...]

刚刚发生了什么?

当你运行命令时 scrapy runspider quotes_spider.py 斯克里奇在里面寻找 Spider 的定义,然后用它的爬行引擎运行。

通过向中定义的URL发出请求启动的爬网 start_urls 属性(在本例中,只有引号的URL humor 并调用默认回调方法 parse ,将响应对象作为参数传递。在 parse 回调,我们使用CSS选择器循环引用元素,生成一个包含提取的引号文本和作者的python dict,查找到下一页的链接,并使用它调度另一个请求。 parse 方法作为回调。

在这里,您注意到Scrapy的一个主要优点:请求是 scheduled and processed asynchronously . 这意味着Scrapy不需要等待请求完成和处理,它可以同时发送另一个请求或做其他事情。这也意味着,即使某些请求失败或在处理过程中发生错误,其他请求也可以继续进行。

虽然这使您能够非常快速地进行爬行(同时以容错的方式发送多个并发请求),但Scrapy还使您能够控制爬行的礼貌性。 a few settings . 您可以在每个请求之间设置下载延迟、限制每个域或每个IP的并发请求量,甚至 using an auto-throttling extension 它试图自动解决这些问题。

注解

这是使用 feed exports 要生成JSON文件,您可以轻松地更改导出格式(例如XML或CSV)或存储后端(FTP或 Amazon S3 例如)。你也可以写一个 item pipeline 将项目存储在数据库中。

还有什么?

你已经看到了如何使用Scrapy从网站中提取和存储项目,但这只是表面现象。Scrapy提供了许多强大的功能,使抓取变得简单和高效,例如:

  • 内置支持 selecting and extracting 使用扩展的CSS选择器和XPath表达式从HTML/XML源中获取数据,并使用正则表达式提取助手方法。
  • 安 interactive shell console (ipython-aware)用于尝试使用css和xpath表达式来获取数据,在编写或调试spider时非常有用。
  • 内置支持 generating feed exports 以多种格式(json、csv、xml)存储在多个后端(ftp、s3、本地文件系统)
  • 强大的编码支持和自动检测,用于处理外部、非标准和中断的编码声明。
  • Strong extensibility support ,允许您使用 signals 以及定义良好的API(中间件, extensions 和 pipelines )
  • 广泛的内置扩展和用于处理的中间产品:
    • cookie和会话处理
    • HTTP功能,如压缩、身份验证、缓存
    • 用户代理欺骗
    • robots.txt
    • 爬行深度限制
    • 更多
  • Telnet console 用于挂接到运行在Scrapy进程中的Python控制台,以便内省和调试爬虫程序
  • 还有其他的好东西,比如可重复使用的 Spider Sitemaps 和XML/CSV源,这是 automatically downloading images(或任何其他媒体)与抓取的项目、缓存DNS解析程序等相关!

下一步是什么?

接下来的步骤是 install Scrapy , follow through the tutorial 学习如何创建一个完整的 Scrapy 项目和 join the community . 感谢您的关注!