curl http://localhost:6800/cancel.json -d project=PROJECT_NAME -d job=JOB_ID 更多API可以查看官网:http://scrapyd.readthedocs.io/en/latest/api.html 五、自定义配置 当前目录下新建文件scrapyd.conf 可以修改scrapyd服务启动的端口号,日志目录等信息 [scrapyd]eggs_dir = eggslogs_dir = logsitems_dir =...
安装好了Scrapyd之后,我们可以直接请求它提供的API来获取当前主机的Scrapy任务运行状况。比如,某台主机的IP为192.168.1.1,则可以直接运行如下命令获取当前主机的所有Scrapy项目: curl http://localhost:6800/listprojects.json 运行结果如下: 1 {"status":"ok","projects":["myproject","otherproject"]} 返回结果是...
post 提交,入参project 必需,version必需,egg 必需是一个文件类型 可以使用postman, 也可以使用scrapyd-deploy命令提交,见:https://www.cnblogs.com/MrHSR/p/16476513.html
fromscrapyd_apiimportScrapydAPI scrapyd=ScrapydAPI('http://localhost:6800')scrapyd.schedule(project_name,spider_name) 源码修改,方便使用cancel #scrapyd.webservice.pyclassSpiderId(WsResource):defrender_POST(self,txrequest):args=native_stringify_dict(copy(txrequest.args),keys_only=False)project=args['p...
导入scrapyd_api库中的ScrapydAPI模块: 首先,确保你已经安装了 python-scrapyd-api 库。如果没有安装,可以通过以下命令进行安装: bash pip install python-scrapyd-api 然后,在你的Python脚本中,你需要正确导入 ScrapydAPI 类。注意,类名应该是大写的 ScrapydAPI,而不是小写的 scrapydapi。正确的导入语句如下: py...
fromscrapyd_apiimportScrapydAPI# 我们直接进行实例化,直接调用对象就好scrapyd=ScrapydAPI('http://localhost:6800') Add a project egg as a new version: egg = open('some_egg.egg', 'rb') scrapyd.add_version('project_name', 'version_name', egg) ...
简介: Scrapyd API 中文翻译版本 原文地址:https://scrapyd.readthedocs.io/en/stable/api.html 以下是 Scrapyd 提供的 JSON API. 实现了对Scrapy 项目管理 # 服务器查询 daemonstatus.json 服务器状态 # 项目操作 addversion.json 添加项目版本(一个项目下可以有多个版本) listprojects.json 项目列表 listversions...
A Python wrapper for working with Scrapyd's API. Contribute to djm/python-scrapyd-api development by creating an account on GitHub.
API简介: 1、curl http://127.0.0.1:6800/daemonstatus.json查看scrapyd的运行状态 2、curl http://127.0.0.1:6800/listprojects.json查看项目列表 3、curl http://127.0.0.1:6800/listspiders.json?project=DOUYU查看DOUYU项目里的爬虫文件 4、curl http://127.0.0.1:6800/listversions.json?project=DOUYU查看...
Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Scrapyd-Client, Scrapyd-API, Django and Vue.js - asdbaihu/Gerapy