scrapy数据存储在mysql数据库的方式是什么

很多新手不太清楚杂乱的数据是如何存储在mysql数据库中的。为了帮助大家解决这个问题，下面小编就详细讲解一下。需要的人可以从中学习，希望你能有所收获。

本文主要介绍了将零碎数据存储在mysql数据库中的两种方式(同步和异步)。通过本文的示例代码非常详细，对大家的学习或工作都有一定的参考和学习价值。有需要的朋友可以和边肖一起学习。

方法一：同步操作

1.pipelines.py文件(用于处理数据的python文件)

导入pymysqlclass LvyouPipeline(对象):def __init__(self):#连接database self . connect=pymysql . connect(主机=’XXX ‘，用户=’root ‘，Passwd=’ XXX ‘，db=’ scrap _ test’) #接下来的三个是数据库连接名称，数据库密码和数据库名称# getcursorself . cursor=self . connect . cursor()print(‘成功连接到数据库’)def process_item(self，item，spider):# sql语句insert _ SQL 项目[‘地址’]，项目[‘等级’]，项目[‘分数’]，项目[‘价格’])#提交，不能保存到数据库self.connect.com MIT()defclose _ spider(self，spider) 3360 #关闭光标并连接self . cursor . Close()self . connect . Close()

2.在配置文件中

方式二 异步储存

Pipelines.py文件：

异步数据库插入通过twisted实现，twisted模块提供twisted.enterprise.adbapi

1.导入adbapi。

2.生成数据库连接池。

3.执行数据数据库插入操作。

4.并排打印错误信息。

import pymysql from twisted . enterprise import adbapi #异步更新操作classlvyou pipeline(对象):def _ _ init _ _ (self，Dbspool)3360 self . Dbspool=Dbspool @ class method def from _ settings(CLS，settings) 3360 #函数名是固定的，将由scrapy调用。可以使用直接设置： paramsettings 3360配置参数：return:实例化参数“”ADB params=dict(host=settings[‘ MySQL _ host ‘])，db=settings[‘MYSQL_DBNAME’]，user=settings[‘MYSQL_USER’]，PASSWORD=settings[‘ MYSQL _ PASSWORD ‘]，Cursor类=pymysql.cursors.dictcursor #指定游标类型)的值“”与数据库建立连接#连接数据池connection通过连接池执行特定的sql操作，返回一个对象’ ‘ query=self . dbpool . run interaction(self . do _ Insert，Item) #指定操作方法和操作数据#添加异常处理query . addcallback(self . Handle _ error)#处理异常defdo _ insert (self，游标，item) : #插入数据库不提交。Twisted将自动提交insert _ SQL=“插入到吕游(名称1、地址、等级、分数、价格)值(%s、% s、% s、% s)”. cursor . execute(insert _ SQL，(项目[‘名称’]、项目[‘地址’]、项目[‘等级’]、项目[‘分数’]、项目[‘价格’])) defhandle _ error (self，failure) :如果失败3360 #打印错误消息打印(失败)

注意：

1.python 3.x不再支持MySQLdb，它在py3中的替代品是：import pymysql。

2.错误pymysql . err . programming error :(1064，

原因：当项目[‘quotes’]包含引号时，可能会报告上述错误。

解决方法：使用pymysql.escape_string()方法。

例如：

SQL=’ ‘ ‘ INSERT INTO video _ info(video _ id，title) VALUES(‘%s ‘，’ % s ‘)’ ‘ %(video _ info[‘ id ‘]，pymysql . escape _ string(video _ info[‘ title ‘]))

3.当有中文时，需要在连接中添加字符集=’utf8 ‘，否则中文会显示乱码。

4.每次执行爬虫程序时，数据都会被追加到数据库中。如果多次测试爬虫，同样的数据会不断累积。如何实现增量爬行？

碎屑-增量提取

一次抓取(不同于存储数据库中的1)

scrapy-redis

Scrapy-redis-bloom过滤器(3的增强版本，可以更快地存储更多的网址和查询)

阅读以上内容对你有帮助吗？如果您想了解更多相关知识或阅读更多相关文章，请关注行业资讯频道，感谢您的支持。