一个exploit-db的爬虫demo 2年前的实验室项目需要对exploit-db进行爬虫,这里回顾一下知识。 基本思路,使用urllib.request访问exploit-db,使用BeautifulSoup对Response进行解析,然后将提取出的内容存储至Mysql中。 urllib 写这个demo的时候Python2还没有废弃,这里将代码移植至Python3中。 由于exploit-db中漏洞页面的url是h...
爬虫爬取https://www.exploit-db.com/老是跳过一个,https://www.exploit-db.com/由于是外网,连接速度不行。就怕突然下载停止。这个时候的CVE编号,就会紊乱。解决办法,分开。备份一个CVE编号列表只用来记录去除剩下的,另外一个只用来下载。重新开始的时候,用上次剩余的
基于python爬虫的github-exploitdb漏洞库监控与下载 offensive.py(爬取项目历史更新内容) #!/usr/bin/env python # -*- coding:utf-8 -*- import re import time import urllib.request import conf as cf BASE_URL = 'https://github.com/offensive-security/exploitdb/releases' DOWNLOAD_LINK_PATTERN = '...
import conf as cf BASE_URL = 'https://github.com/offensive-security/exploitdb/releases' DOWNLOAD_LINK_PATTERN = 'href="(.*?)zip" rel="nofollow">' FIRST_PATTERN = r'Next.*' PAGE_PATTERN = r'>PreviousNext.*' class MyCrawler: def __init__(self, base_url=BASE_URL, start_page="f...
cve编号写入cve_num2.json成功!【记录影响产品信息】 cve编号写入cve_num3.json成功!【爬取对应的POC信息】 cve编号写入cve_num4.json成功!【记录对应的POC信息】 2,爬取影响产品信息 认为制造断点: https://www.cvedetails.com/cve/CVE-2019-1020014/ ...
1. Python爬虫把http://www.exploit-db.com/webapps/相关数据都爬取下来,一一对应好,存储进数据库; 2. web.py将数据库的数据挖掘输出给前端; 3. 前端用Bootstrap、ichart、jquery将数据图形化; 输出 可以看出注入/XSS/CSRF名列榜首。 漏洞语言与平台分布 ...
1. Python爬虫把http://www.exploit-db.com/webapps/相关数据都爬取下来,一一对应好,存储进数据库; 2. web.py将数据库的数据挖掘输出给前端; 3. 前端用Bootstrap、ichart、jquery将数据图形化; 输出 漏洞分布 可以看出注入/XSS/CSRF名列榜首。
1.编写python爬虫,把2016年的web漏洞进行数据爬取(目前来说网页爬虫主流一直是python,开发效率高,代码编写简单) 2.将python爬虫爬取的数据输出到excle 3.使用excle进行二次数据梳理,统计漏洞排行、开发语言、漏洞数量 4.图表展示,使用office任何工具均可 ...
1.编写python爬虫,把2016年的web漏洞进行数据爬取(目前来说网页爬虫主流一直是python,开发效率高,代码编写简单) 2.将python爬虫爬取的数据输出到excle 3.使用excle进行二次数据梳理,统计漏洞排行、开发语言、漏洞数量 4.图表展示,使用office任何工具均可
1. Python爬虫把http://www.exploit-db.com/webapps/相关数据都爬取下来,一一对应好,进; 2. web.py将数据库的数据挖掘输出给前端; 3. 前端用Bootstrap、ichart、jquery将数据图形化; 输出 可以看出注入/XSS/CSRF名列榜首。 漏洞语言与平台分布