抓取指定信息并保存到数据库.网址https://gs.amac.org.cn/amac-infodisc/res/pof/manager/managerList.html#@File : amacSelenium.py#@Software: PyCharmfromseleniumimportwebdriver#调用 Chrome 浏览器fromselenium.webdriver.common.keysimportKeys#调用键盘按键操作需要引入keys...
首先我对企业进行了按城市维度进行分库,全国每个城市都建立一个自己的数据库,然后自己利用Python爬虫技术+企业词库+代理IP池+分布式多进程的技术架构开发了一套“企业大数据深度挖掘系统”,利用分布式爬虫系统,在采集数据企业的时候,面临不少问题的。
时间:2018.7-至今 公司名称:幻主简历公司1 职位名称:python爬虫工程师 职责描述:1负责企业数据,专利数据,裁判文书数据的更新,以及其他数据维度的更新;3. 负责搭建系统开发环境,完成系统框架和核心代码的实现,解决开发遇到的技术问题;4.项目定期维护和优化。项目经验时间:2018.7-至今 项目名称:幻主简历项目1 项目角色:...