1. requests 这个库是爬虫最常用的一个库 2. Selenium Selenium 是一个自动化测试工具,利用它我们可以驱动浏览器执行特定的动作,如点击、下拉等操作 对于一些用JS做谊染的页面来说,这种抓取方式是非常有效的。 3.ChomeDrive 安装了这个库,才能驱动Chrome浏览器完成相应的操作 4.GeckoDriver 使用W3C WebDriver兼容客户...
Frida 是一个hook工具,也是全平台的hook工具 使用Frida时建议用性能稍好的物理机、如果没有的话这里推荐逍遥安卓模拟器和木木模拟器,试过雷电、夜神,雷电直接闪退;夜神无法root,root之后卡在99.99%,无法启动模拟器;木木模拟器点击切换时也有卡顿现象,不过至少不闪退,综合体验最好的就是夜神安卓模拟器,有那么些广告还...
<Copilot>类产品(Agent也算进来)又进一步把写代码的难度压低了,稍微复杂的参考开源项目或者购买模板也能解决。 <EasyDL>类产品又把训练模型的难度和成本压低了,你只要提供业务场景的数据就可以了。 那么,数据从哪里来?自己搜集,网络众筹(土耳其机器人),数商购买,开源数据库,免费爬虫工具…… <低代码平台>类产品又...
1、获取汽车之家口碑评论数据:使用爬虫工具 2、对评论数据进行总结:调用openai api完成 3、将总结的文字存成word文档:调用python-docx库即可 整个过程我都写成了一ipynb文件,这样就完成了一个伪AGENT,以后要其他车型的用户评论的报告的话,只需要输入一个口碑的网址即可。