可能是超出限时了吧，试试分片获取
这个时候我们可以在urllib2.urlopen设置一个超时时间,超过这个时间的话就抛出异常。如下所示。 我们可以捕抓到这个异常然后用自己的方法去处理。 try: req = urllib2.Request(imgurl,None,headers=headers) response = urllib2.urlopen(req,timeout=5) the_page = response.read() except socket.timeout as e:...
所以我都整下来了。 到这步就可以先printf出来康康了,可以看到我们要的数据基本都搞出来了。 定位下一步代码 到这一步就可以往下走了,因为我这里是爬7天的天气数据,而且在代码里面会发现7天的数据是几乎类似的结构,所以在这里我就用了for in的结构,这个for x in y的结构有所不同的是,y是找到的那7个detail...
爬到一半了 是翻页采集吗？如果是翻页采集，设置调度参数，让采集速度变慢。如果是单页采集，歇会再采集...
可能是超出限时了吧，试试分片获取
这可能是因为网络波动，服务器负载高，或是你的网络环境限制了某些加密方式。解决这事儿，首先得确保网络...