logger.info('回收当前 %s 进程id的内存'%self.current_process.pid)return1deffree_current_process_memory(self, threshold):"""回收python所处的当前进程的内存"""ifself.is_need_release(threshold) == 1: gc.collect()classMemoryReleaser():def__init__(self,threshold,cmd_name_str='touna0627.py'):...
引入gc模块 在sleep之前插入 gc.collect() 查看内存,内存直接下降到10M内了,这是我期待的。 本篇的list代表一个巨大的内存的变量,以range(10000000)来指代。不要扯上什么xrange range,我就是要用这个来简单指代一些巨大内存的变量。 实际过程中指代的是下载 上传巨大的html源码,爬虫过程中如果遇到mp4 avi连接没有...
import gc gc.set_threshold(100000)通常不需要显示的del x，这样的操作，但如果内部加载的内存太大，...
logger.info('回收当前 %s 进程id的内存'%self.current_process.pid)return1deffree_current_process_memory(self, threshold):"""回收python所处的当前进程的内存"""ifself.is_need_release(threshold) == 1: gc.collect()classMemoryReleaser():def__init__(self,threshold,cmd_name_str='touna0627.py'):...