正文 一,爬虫都是具有时效性的,我不知道反爬虫什么时候更新,所以失效以后,除非工作需要,否则我也一般会维护。 二,移动客户端网页一般比电脑的网页更好爬取,所以这次可以用汽车之家口碑的移动端网页,用电脑网页也可以,但是 需要在汽车之家论坛反爬虫的基础上在进行修改。比较麻烦。 三,以这篇口碑为例, 在网页上...
汽车之家车型参数口碑及论坛爬虫 整合参考了一些git上的其他爬虫,汽车之家板块改版比较多,另外会有js混淆,比较麻烦。只保存成txt,后续用java处理的。不过格式都比较清晰点赞(0) 踩踩(0) 反馈 所需:9 积分 电信网络下载 searchina 2020-05-12 15:02:21 评论 ...
汽车之家口碑数据 DEMO,可爬取全系车型口碑数据,需要联系我https://blog./qq_38154948/article/details/106436224
1、获取汽车之家口碑评论数据:使用爬虫工具 2、对评论数据进行总结:调用openai api完成 3、将总结的文字存成word文档:调用python-docx库即可 整个过程我都写成了一ipynb文件,这样就完成了一个伪AGENT,以后要其他车型的用户评论的报告的话,只需要输入一个口碑的网址即可。