首先,写爬虫的时候大致有以下四个内容需要考虑:1、url地址的获取: ①要是知道url地址的规律和总体页码数情况,我们可以较容易的构造处url地址的列表; ②当我们不知道url地址的一些规律时,就需要先构造一个start_url来获取初始地址,然后再请求,再生成。2、发送请求,获取响应(利用requests库)3、提取数据: ①返回的是...
百般无聊中想和朋友看个电影,不知道看什么,那就看评分高的吧,上次爬取豆瓣电影top250看到评分第一的是《申肖克的救赎》,倒想看看什么样的神作能得到9.6分,因为有腾讯会员于是去了腾讯视频,并没有找到。清晰度不错,就它了,但是看一下卡很久,应该是没有cdn加速,原始速度没法看。于是想着下载下来再看吧,于是右键...