1、解决了微博话题爬虫失效的问题 2、突破了微博话题爬虫只能爬取前50页的限制 3、重新组织了代码,具体可见下图 原来的带有界面的用户、话题、评论爬虫更新后转移到项目根目录下的GUI 功能集中版文件夹下,这部分的代码主要是 GUI.py 源代码,里面分别有 WeiboSearchScrapy、WeiboUserScrapy、WeiboUserScrapy 三个类,...
2.软件通过爬虫程序爬取,经本人专门测试,运行持久,稳定性较高!3.先在cookie.txt中填入自己的cookie值,方便重复使用(内附cookie获取方法)4.支持多个关键词串行爬取5.支持按时间段范围采集贴子7.爬取过程中,每爬一页,存一次csv。并非爬完最后一次性保存!防止因异常中断导致丢失前面的数据(每条间隔1~2s)8.爬取过...
WeiboTopicScrapy.py 爬取指定关键词的所有微博,突破了 50 页的限制,可指定截至日期 因为每次微博更新,爬虫就要做相应更新,然后一些逻辑的变化导致 GUI 界面也要修改,一个产品很多代码都是浪费在了界面的编写上,为了减轻更新压力,将主要任务放在爬虫逻辑的更新上,这也是我为什么单独剥离功能代码的初衷。 更新的 Weibo...
2.软件通过爬虫程序爬取,经本人专门测试,运行持久,稳定性较高!3.先在cookie.txt中填入自己的cookie值,方便重复使用(内附cookie获取方法)4.支持多个关键词串行爬取5.支持按时间段范围采集贴子7.爬取过程中,每爬一页,存一次csv。并非爬完最后一次性保存!防止因异常中断导致丢失前面的数据(每条间隔1~2s)8.爬取过...
3.2 采集微博帖子 四、付费说明 4.1 卡密说明 4.2 一机一码 4.3 软件多开 五、软件首发 新年伊始,马哥首先祝大家2025:学业有所成,事业攀高峰! 一、背景分析 1.1 开发背景 微博是国内非常流行的社交媒体平台,内容主要以文字和图片为主,在实时性和KOL关注热度方面尤为突出。广大网友在微博平台大量输出自己的观点、...
4.2 一机一码 软件采用一机一码机制,一个卡密只能在一台电脑运行、不可多电脑运行。 4.3 软件多开 一台电脑仅允许运行一个软件,不支持软件多开。 五、软件首发 软件【爬微博搜索软件】首发于众公号【老男孩的平凡之路】,欢迎交流! 转载需本人同意,违者必究!