本文将详细解释如何使用crawler框架Scrapy来部署crawler。这篇文章的内容质量很高，所以边肖会分享给大家参考。希望你看完这篇文章后有所了解。
本文主要描述如何将我们编写的爬虫程序部署到生产环境中。我们使用Scrapy提供的爬虫管理工具scrapyd来部署爬虫程序。
00-1010:一是由scrapy官方提供；第二，我们使用JSON API部署爬虫、控制爬虫、查看运行日志都非常方便。
00-1010
1 为什么使用 scrapyd?
选择一台主机作为服务器，安装并启动scrapyd服务。之后，scrapyd将作为守护进程存在于系统中，监控爬虫的运行和请求，然后启动进程执行爬虫程序。
00-1010使用pip安装scrapyd很方便。
00-1010从终端命令行使用以下命令启动服务：
启动服务结果如下：
Scrapyd还提供了一个网络接口。方便我们查看和管理爬虫程序。默认情况下，scrapyd监听端口6800，并在scrapyd运行后。在这台机器上，使用浏览器访问http://localhost :6800/address查看当前正在运行的项目。
00-1010直接使用scrapyd-client提供的scrapyd-deploy工具。
2 使用 scrapyd
scrapyd在服务器端运行，而scrapyd-client在客户端运行。使用client scrapyd-client通过调用scrapyd的json接口来部署爬虫项目。
00-1010在终端下运行以下安装命令：
00-1010修改项目目录中的scrapy.cfg文件。
如果您的服务器配置了HTTP基本身份验证，您需要在scrapy.cfg文件中添加用户名和密码。这是为了登录到服务器。
00-1010在爬虫项目根目录中执行以下命令：
Target是上一步配置的服务器名称，project是项目名称，可以根据实际情况自行指定。
我将目标指定为服务器，将项目指定为演示，因此我想执行以下命令：
部署将打包您当前的项目。如果当前项目下有setup.py文件，将使用该文件。如果没有文件，将自动创建一个。(如果后期项目需要打包，可以根据自己的需要修改信息，也可以暂时忽略)。从返回的结果中，我们可以看到部署状态、项目名称、版本号和爬虫号，以及当前的主机名。
操作结果如下
下：
使用以下命令检查部署爬虫结果：
我指定服务器名称为 server，所以要执行命令如下：
刷新 http://localhost:6800/ 页面, 也可以看到Available projects: demo的字样。
4 使用 API 管理爬虫
scrapyd 的 web 界面比较简单，主要用于监控，所有的调度工作全部依靠接口实现。官方推荐使用 curl 来管理爬虫。
所以要先安装 curl。
-
windows 用户可以到该网站
https://curl.haxx.se/download.html下载 curl 安装包进行安装。 -
ubuntu/Mac 用户直接使用命令行安装即可。
开启爬虫 schedule
在爬虫项目的根目录下，使用终端运行以下命令：
成功启动爬虫结果如下：
取消爬虫
列出项目
列出爬虫、版本、job 信息
删除爬虫项目
关于如何运用爬虫框架Scrapy部署爬虫就分享到这里了，希望
内容来源网络，如有侵权，联系删除，本文地址：https://www.230890.com/zhan/105127.html