scrapy-redis-cluster Aug 12, 2019 README.md ✨ 新增基础去重; Sep 7, 2021 _config.yml scrapy_redis_sentinel Nov 9, 2019 logo.png scrapy_redis_sentinel Aug 13, 2019 makefile ✨ 新增基础去重; Sep 7, 2021 requirements.
原项目:scrpy-redis 配置示例: pip install scrapy-redis-cluster 原版本的所有配置都支持 # Redis集群地址REDIS_MASTER_NODES=[ {"host":"192.168.10.233","port":"30001"}, {"host":"192.168.10.234","port":"30002"}, {"host":"192.168.10.235","port":"30003"}, ]# 使用的哈希函数数,默认为6BLO...
访问https://gitee.com/XmirrorSecurity/OpenSCA-intellij-plugin 下载 OpenSCA-intellij-plugin 源码。 使用IntelliJ IDEA 打开,配置运行环境:JDK11,待 Gradle 导入依赖和插件。执行 IntelliJ 插件的 buildPlugin 任务(Gradle -> Tasks -> Intellij -> buildPlugin),构建的安装包存在于当前项目下 build/distributions...
ScrapyRedisBloomFilterBlockCluster 基于 scrapy-redis + bloomfilter 算法去重,支持分配多个 redis 内存块( redis 1个 string 最大 512MB),并且支持 redis 单机和 redis-cluster 集群,适用于超大型分布式 scrapy 爬虫。 本项目基于以下项目修改: https://github.com/rmax/scrapy-redis ...
scrapy-redis-sentinel 基于 scrapy-redis 的基础上 新增 哨兵(sentinel)连接模式 以及 集群(cluster)连接模式。 - crawlaio/scrapy-redis-sentinel