Python实现Awvs自动化扫描

　　近再做一个python的小程序，主要功能是实现Acuenetix Web Vulnerability Scanner的自动化扫描，批量对一些目标进行扫描，然后对扫描结果写入mysql数据库。写这篇文章，分享一下一些思路。
　　程序主要分三个功能模块，Url下载、批量扫描、结果入库，
　　有一个另外独立的程序，在流量镜像服务器上进行抓包，抓取Http协议的包，然后对包进行筛选处理，保留一些带有各种参数的url，然后对url进行入库。url下载功能主要是从mysql数据库中下载url。
　　批量扫描功能主要调用了Awvs的命令行wvs_console.exe，调研的时候先是尝试用awvs计划任务来实现批量扫描，但是发现在将一些awvs设置发包给计划任务的时候会遇到各种困难，计划任务貌似也不是一个网页，采用的是XML模版，技术有限，后没实现，只好放弃。
　　之后发现Awvs支持命令行，wvs_console.exe是主程序，有很多命令参数，基本能实现Awvs界面操作的所有功能。批量扫描主要是读取下载到本地的url，进行逐一扫描。要将扫描结果保存到本地access数据库文件，需要使用savetodatabase参数。
　　Awvs会自动将扫描结果保存到本地的access数据库中，具体的表是Wvs_alerts，也可以设置保存到Mssql数据库中，具体的是在Application Setting进行设置。结果入库模块的功能是从access数据库筛选出危害等级为3的漏洞，然后将它们写入到mysql数据库。主要用了正则表达式对request中的host，漏洞文件，get或post提交的请求进行筛选拼凑，获取到完整的漏洞测试url。
　　贴上代码，很菜，代码各种Bug，主要的是程序的整个流程设计存在问题，导致后来被大佬给否掉了，没有考虑到重复扫描和程序异常中止的情况，导致我的程序只能一直运行下去 ，否则重新运行又会从头对url进行扫描。
　　对此很郁闷，某天晚上下班回家想了想，觉得可以通过以下方法来解决以上两个问题：
　　Awvs扫描结果数据库中有一个Wvs_scans表，保存的都是扫描过的url，以及扫描开始时间和结束时间。可以将当天下载的url保存到一个list中，然后在扫描之前先将之前所有扫描过的URL查询出来，同样保存在list中，读取list中的url，判断是否在扫描过的URL list中，如果存在将之从url list中删除掉；如果不存在则再进行扫描。
　　异常中止的话貌似只能增加系统计划任务，每天结束再打开，不知道如何时时监视系统进程，通过是否存在wvs的进程来判断。
　　以上只是一个大概的程序介绍，贴上代码，代码可能存在一些问题，有兴趣的童鞋去完善完善，大佬觉得我的效率和编码能力有待提高，so，让继续学习，所以没再继续跟进这个项目。
　　downurl.py 代码：
#coding:utf-8
import MySQLdb
import os，time，shutil
import hashlib，re
datanow=time.strftime('%Y-%m-%d'，time.localtime(time.time()))
#filetype='.txt'
#urlfilename=datanow+filetype
#path="D:wvscanurl\"
#newfile=path+urlfilename
datanow=time.strftime('%Y-%m-%d'，time.localtime(time.time()))
con=MySQLdb.Connect('10.1.1.1'，'root'，'12345678'，'wvsdb')
cur=con.cursor()
sqlstr='select url from urls where time like %s'
values=datanow+'%'
cur.execute(sqlstr，values)
data=cur.fetchall()
#将当天的URL保存到本地url.txt文件
f=open(r'd:Wvscanurl.txt'，'a+')
uhfile=open(r'd:Wvscanurlhash.txt'，'a+')
line=uhfile.readlines()
#保存之前对url进行简单的处理，跟本地的hash文件比对，确保url.txt中url不重复
for i in range(0，len(data)):
impurl=str(data[i][0]).split('=')[0]
urlhash=hashlib.new('md5'，impurl).hexdigest()
urlhash=urlhash+' '
if urlhash in line:
pass
else:
uhfile.write(urlhash)
newurl=str(data[i][0])+' '
f.writelines(newurl)
cur.close()
con.close()