Scrapyd-Client:GitHub:https://github.com/scrapy/scrapyd-client scrapyd-client模块是专门打包scrapy爬虫项目到scrapyd服务中的,进入虚拟环境,执行命令pip install scrapyd-client,安装完成后,在虚拟环境的scripts中会出现scrapyd-deploy无后缀文件,这个scrapyd-deploy无后缀文件是启动文件。 6、进入虚拟环境,进入到你的爬...
[settings]default=tieba.settings[deploy]url=http://localhost:6800/project=tieba 执行scrapyd-deploy -...
命令行 scrapyd-deploy -p 项目名 -v 版本名 --build-egg=egg包名.egg 1. 示例 scrapyd-deploy --build-egg=./build/project.egg 1.
[deploy:aliyun]#:后面是别名,自己设置,用来识别部署的是哪台设备,避免弄混url = http://47.98.xx.xx:6800/#远程主机的地址及端口project = lagou 六、使用scrapyd_client将项目部署到远程主机 在scrapy.cfg文件所在目录打开cmd命令行,(地址栏输入cmd,或者shift+右键打开) 执行部署命令scrapyd-deploy aliyun --v...
pip uninstall twisted pipinstalltwisted==18.9.0 如果这一步不做,后期会出现intxxx的错误。 在开发机上(自己的window电脑上)安装pip install scrapyd-client。 修改python/Script/scrapyd-deploy为scrapyd-deploy.py 在项目中,找到scrapy.cfg,然后配置如下:...
9 [deploy] 10 #url = http://localhost:6800/ 11 project = todayMovie 除去以“#”为开头的注释行,整个文件只声明了两件事:一是定义默认设置文件的位置为todayMovie模块下的settings文件,二是定义项目名称为todayMovie。 在第三层中有6个文件和一个文件夹(实际上这也是个模块)。看起来很多。实际上有用的也...
点击job可以查看任务监控界面 4. scrapy项目部署 4.1 配置需要部署的项目 编辑需要部署的项目的scrapy.cfg文件(需要将哪一个爬虫部署到scrapyd中,就配置该项目的该文件) 代码语言:javascript 复制 [deploy:部署名(部署名可以自行定义)]url=http://localhost:6800/project=项目名(创建爬虫项目时使用的名称) ...
编辑需要部署的项目的scrapy.cfg文件,需要将哪一个爬虫部署到scrapyd中,就配置该项目的该文件。 [deploy:部署名(部署名可以自行定义)] url = http://127.0.0.1:6800/ project = 项目名(创建爬虫项目时使用的名称) 同样在scrapy项目路径下执行 scrapyd-deploy 部署名 -p 项目名称 ...
我们已经在scrapy.cfg文件中复制了APIkey,我们还可以点击Scrapinghub右上角的用户名找到 APIkeyo弄好APIkey之后,就可以使用shubdeploy部署爬虫了: $shubdeploy Packingversion1449092838 Deployingtoproject28814in{status:ok,project:28814, •version:1449092838,spiders:1) Runyourspidersat:/p/28814/ Scrapy打包了所...
命令:scrapyd-deploy -l 打包: scrapyd-deploy serverName -p PROJECT_NAME(#这个需要cd到爬虫目录(scrapy.cfg同级)下执行) scrapyd-deploy sjkb -p sjkb_spider(打包sjkb_spider爬虫,跟上面配置对应起来,打包的egg会上传到scrapy.cfg配置的域名目录/egg/下) ...