1{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"119.17.1.200","state":2402} 很明显的报错表示我们遇到了反爬机制,因此我们需要重新思考哪里出了问题。 经过分析我们得到 原因在于我没有传递登入后的Cookie信息,即便传递没有登入的Cookie信息也会失败,问题就在于我之间有尝试爬取拉勾网,那...
2.扒源码 先打开拉勾网的网页. 我们要爬取这部分的数据, 即搜索结果列表数据: 检查源码, 打开如下图所示位置: 然后发现,这部分数据是我们所要爬取的数据: ok! 开始撸代码! import requests def main(): url='https://www.lagou.com/jobs/positionAjax.json?city=%E4%B8%8A%E6%B5%B7&needAddtionalResu...