Scrapy 使用 Item 封装数据、使用 Item Pipline处理数据-白红宇

Scrapy 使用 Item 封装数据、使用 Item Pipline处理数据

阅读量：5233 次

发布时间：2019-06-14

本文共 4261 字，大约阅读时间需要 14 分钟。

1、Item 和 Field

　　Scrapy 提供一下两个类，用户可以使用它们自定义数据类，封装爬取到的数据：

　　（1）Item类

　　　　自定义数据类（如 BookItem）的基类

　　（2）Field

　　　　用来描述自定义数据类包含那些字段（如 name、age等）

　　自定义一个数据类，只需继承 Item ，并创建一系列 Field 对象的类属性（类似 Django 中自定义 Model）即可。以自定义书籍信息 BookItem为例

>>>from scrapy import Item, Field>>> class BookItem(Item):    name = Field()    price = Field(0

　　Item 支持字典接口，因此 BookItem 在使用上和 Python 字典类似，可安一下方式创建BookItem对象：

>>> book = BookItem(name = 'jj', price = 45.0)>>> book{
    'name': 'jj', 'price': 45.0}>>> book['name']'jj'>>> book2 = BookItem()>>> book2{}>>> book2['name'] = 'jjj'>>> book2['price'] = 32.5>>> book2{
    'name': 'jjj', 'price': 32.5}

2、Item Pipeline 处理数据

　　在 Scrapy 中，Item Pipeline 是处理数据的组件，一个 Item Pipeline 就是一个包涵特定接口的类，同城负责一种功能的数据处理，在一个项目中可以同时启用多个 Item Pipeline,他们按指定次序连起来，形成一条数据处理流水线。

　　以下就是 Item Pipeline 的几种典型应用：

　　（1）清洗数据

　　（2）验证数据的有效性

　　（3）过滤掉重复的数据

　　（4）将数据存入数据库

通过一个需求来讲解 Item Pipeline 的使用，比我如我们爬取的书籍价格是以英镑为单位的；如果我们期望爬去的书价是人命币价格，就需要用英镑价格乘以汇率算出人命币价格（处理数据），此时可以实现一个接个转换的 Item Pipeline 来完成这个工作。

　　实现 Item Pipeline

　　　　在创建 Scrapy 项目时，会自动生成一个 pipeline.py 文件，它用来放置用户自定义的 Item Pipeline：

class PriceConverPieline(object):        # 英镑兑换人命币汇率    exchange_rate = 8.5309    def process_item(self, item, spider):        # 提取 Item 的price字段        # 去掉前面英镑符号，转换为float 类型，乘以汇率        price = float(item['price'[1:]])*self.exchange_rate        # 保留 2 为小数，赋值回item的price 字段        item['price'] = '￥%.2f'% price        return item

对上面的代码解释如下：

　　（1）一个 Item Pipeline 不需要继承特定的基类，只需要实现某些特定方法，例如 process_item、open_spider、close_spider

　　（2）一个Item Pipeline必须实现一个Process_item(item, spider)方法，该该方法用来处理每一项由Spider 爬取的数据，其中的两个参数：

　　　　<1> Item 　　爬取到的一项数据（Item 或者字典）

　　　　<2> Spider 　　爬取此项数据的 Spider对象

　　上述代码中的 process_item 方法实现非常简单，将书籍的英镑价格转换为浮点数，乘以汇率并保留 2 为小数，然后复制回item的price字段，最后返回被处理过的item

　　可以看出，process_item 方法是 Item Pipeline 的核心，对该方法需要做两点补充说明：

　　　　（1）如果process_item 下处理某项 item 时返回了一项数据（item或字典），返回的数据会传递到下一级的 Item Pipeline（如果有）继续处理

　　　　（2）如果process_item 在处理某项 item 时抛出（raise）一个DropItem异常（scrapy.exceptions.DropItem）,该项 item 便会被抛弃，不在传递给后面的 Item Ppieline继续处理，也不会导出到文件。通常，我们在检测到无效数据或想要过滤数据时，抛出 DropItem异常。

　　除了必须实现process_item方法外，还有3个比较常用的方法，可用于需求选择实现：

　　（1）open_spider(self, spider)

　　　　Spider 打开时（处理数据前）回调该方法，同城方法用于在开始处理数据之前完成某些初始化工作，如连接数据库

　　（2）close_spider(self, spider)

　　　　Spider 关闭时（处理数据后）回调该方法，同城该方法用于在处理完成数据之后完成某些清理工作，如关闭数据库

　　（3）from_crawler(cls, crawler)

　　　　创建 Item Pipeline对象时回调该方法，通常，在该方法中通过 crawler.setting 读取配置，根据配置创建Item Pipeine对象

3、启用 Item Pipeline

　　在 Scrapy 中，Item Pipeline是可选的组件，想要启用某个（或某些）Item Pipeline，需要在配置文件settings.py中进行配置

ITEM_PIPELINE = {  'example.pipelines.PriceConverterPipeline' : 300     }

ITEM_PIPELINE 是一个字典，我们想要启用 Item Pipelne添加到这个字典中，其中每一项的键是每一个Item Pipelne类的导入路径，值是 0 ~ 1000 的数字，同事启用多个 Item Pipeline 时，Scrapy根据这些数值决定各 Item Pipeline 处理数据的先后次序，数字小的在前面。使用PriceConverterPipelien对数据处理后，books.csv 中的书价转换为人民币价格

4、过滤重复数据

　　为了确保爬取到的书籍信息中没有重复项，可以实现一个去重 Item Pipeline，这里我们一书名作为主键进行去重，实现DuplicatesPipeline

from scrapy.ecceptions import DropItemclass DuplicatedPipeline(object):        def __nit__(self):        self.book_set = set()     def process_item(self, item, spider):         name = item['name']        if name in self.book_set:            raise DropItem('Dupliccate book found: %s' % item)        self.book_set.add(name)        return item

对上述代码解释如下：

　　（1）增加构造方法，在其中初始化用于对书名去重的集合

　　（2）在 process_item 方法中，先取出 item 的 name 字段，检查书名是否已在集合中，如果在，就是重复数据，抛出DropItem异常。将 item 抛弃，否则，将 item的 name 字段存入集合，返回 item

5、将数据存入 MongoDB

　　有时，我们想把爬取到的数据存入某种数据库中，可以实现 Item Pipeline完成此类任务

　　下面实现一个能将数据存入 MongoDB数据库的 Item Piipeline，代码如下：

from scrapy.item import import Itemimport pymongoclass MongeDBPipeline(object):        DB_URI = 'mongodb://localhost:27017/'    DB_NAME = 'scrapy_data'    def open_spider(self, spider):        self.client = pymongo.MongoClient(self.DB_URI)    def close_spider(self, spider):        self.client.close()    def process_item(self, spider):        collection = self.db[spider,name]        post = dict(item) if isinstance(item, Item) else item        collection.insert_one(post)        return item

对上述代码解释如下：

　　（1）在类属性中定义两个常量：

　　　　<1>DB_URI　　数据库的 URI 地址

　　　　<2> DB_NAME　　数据库的名字

　　（2）在Spider整个爬取过程中，数据库的连接和关闭操作只需要进行一次，应在开始处理数据前连接数据库，并在处理完所有数据之后关闭数据路

　　　　<1>open_spider(spider)

　　　　<2> close_spider(spider)