这期内容当中小编将会给大家带来有关如何进行InsectsAwke自动化工具源码分析，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。
在柳林等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都做网站、成都网站设计 网站设计制作按需求定制制作,公司网站建设,企业网站建设,成都品牌网站建设,网络营销推广,成都外贸网站建设,柳林网站建设费用合理。
简介
InsectsAwke是一个比较著名的开源的基于Python开发的漏洞扫描系统。启蒙于Bugscan脱胎于Pocsuite。采用FLASK+MongoDB提供WEB服务。初步具备Por的健壮性。
主要功能
安装过程
git clone https://github.com/jeffzh4ng/InsectsAwake.git
sudo apt update
sudo apt install python python-pip
安装 MongoDB
安装的是企业版MongoDB，普通的MongoDB是无法支持系统运行的
很多人按照freebuf 的安装不成功，是因为载入的是3.4版本的安装源可是当我们执行 sudo apt-get install -y mongodb-enterp的时候，如果没有指定版本号的话，apt默认安装最新的即3.6版本，所以mongodb-enterprise在安装的时候就会出现问题。这里我们加载的是3.6版本的安装源，所以可以安装成功
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2930ADAE8CAF5059EE73BB4B58712A2291FA4AD5
echo "deb [ arch=amd64,arm64,ppc64el,s390x ] http://repo.mongodb.com/apt/ubuntu xenial/mongodb-enterprise/3.6 multiverse" | sudo tee /etc/apt/sources.list.d/mongodb-enterprise.list
sudo apt-get update
sudo apt-get install -y mongodb-enterprise
https://docs.mongodb.com/manual/installation/
cd InsectsAwake
sudo pip install pip -U
sudo pip install -r requirements.txt
sudo apt install nmap
配置数据库
sudo mkdir -p /data/db
sudo service mongod start
mongo --host 127.0.0.1:27017
use InsectsAwake
db.createUser({user:'you username',pwd:'you password',roles:[{role:'dbOwner',db:'InsectsAwake'}]})
exit
修改扫描器配置
class Config():
WEB_USER = 'admin' // 扫描器登录用户
WEB_PASSWORD = 'whoami' // 扫描器登录密码
WEB_HOST = '127.0.0.1' // 本地访问
WEB_PORT = 5000 // Web服务端口
POCSUITE_PATH = basedir + '/../InsectsAwake/views/modules/scanner/pocsuite_plugin/'
class ProductionConfig(Config):
DB_HOST = '127.0.0.1' // 数据库地址
DB_PORT = 27017 // 数据库端口
DB_USERNAME = 'testuser' // 数据库用户
DB_PASSWORD = 'testpwd' // 数据库密码
DB_NAME = 'test' // 数据库名
// 数据库集合名
PLUGIN_DB = 'test_plugin_info'
TASKS_DB = 'test_tasks'
VULNERABILITY_DB = 'test_vuldb'
ASSET_DB = 'test_asset'
CONFIG_DB = 'test_config'
SERVER_DB = 'test_server'
SUBDOMAIN_DB = 'test_subdomain'
DOMAIN_DB = 'test_domain'
WEEKPASSWD_DB = 'test_weekpasswd'
比较懒，clone下来直接chmod -R 777 然后就可以愉快的修改文件了 
初始化数据库
cd /InsectsAwake/migration
python start.py
sudo ./run.sh restart
工作流程
下图为系统运行简单SDL流程图
项目结构
├── InsectsAwake
│ ├── app.py flask blueprint注册
│ ├── __init__.py
│ ├── static 网页静态文件夹
│ ├── templates 网页html模板文件夹
│ └── views
│ ├── asset_management.py flask资产管理处理页面
│ ├── authenticate.py flask网页认证页面，登录与登出
│ ├── dashboard.py dashboard页面
│ ├── index.py 主页
│ ├── __init__.py
│ ├── lib
│ │ ├── __init__.py
│ │ ├── mongo_db.py 创建和管理mongo数据库
│ ├── modules
│ │ ├── discovery 资产发现
│ │ │ ├── __init__.py
│ │ │ ├── port_scanner.py 扫描端口和目标服务信息
│ │ ├── __init__.py
│ │ ├── scanner 漏洞扫描
│ │ │ ├── __init__.py
│ │ │ ├── pocsuite_plugin 存放漏洞扫描poc插件的文件夹
│ │ │ ├── pocsuite_scanner.py 调用pocsuites框架对目标进行漏洞扫描
│ │ │ ├── vulnerability_plugin.py 管理漏洞poc插件，向数据库中加入插件信息
│ │ ├── subdomain 子域名爆破
│ │ │ ├── __init__.py
│ │ │ ├── subdomain.py 子域名爆破
│ │ └── week_passwd
│ │ ├── __init__.py
│ │ └── week_http_passwd_test.py 作者还未实现
│ ├── plugin_management.py flask poc插件管理页面
│ ├── settings.py flask 平台参数设置页面,如线程数量，字典
│ ├── sql_injection.py 作者还未实现
│ ├── subdomain_brute.py flask 子域名爆破页面
│ ├── task_management.py flask 任务管理页面
│ ├── vulnerability_management.py flask 漏洞扫描结果管理页面
│ ├── weak_passwd_test.py falsk弱口令管理页面
├── InsectsAwake.py 主执行文件
├── instance
│ ├── config.py flask 配置和数据库配置
│ ├── __init__.py
├── LICENSE
├── logs
│ ├── db.log
│ └── log.log
├── migration
│ ├── DataModels
│ └── .py 创建数据库
├── requirements.txt
├── run.sh
├── tests
│ ├── domain.dict 子域名爆破字典
项目思维导图
主文件分析
def scanner():
调用漏洞扫描模块
:return:
config_db db_name_conf()[]
scanner_time int(connectiondb(config_db).find_one()[])
print()
scanner_loop_execute(scanner_time)
def manage():
调用flask
:return:
app.runflask_app.config.get(), flask_app.config.get())
def discovery():
调用资产发现模块
:return:
print()
scheduler BlockingScheduler()
try:
scheduler.add_job(MultiProcess().start_port_scan, , , , )
scheduler.start()
except Exception as e:
print(e)
def subdomain():
调用子域名爆破模块
:return:
scanner_time
print()
subdomain_loop_execute(scanner_time)
__name__ :
开启四个线程执行这4个模块
t1 threading.Threadscanner, ())
t2 threading.Threadmanage, ())
t3 threading.Threadsubdomain, ())
t4 threading.Threaddiscovery, ())
t1.start()
t2.start()
t3.start()
t4.start()
t1.join()
t2.join()
t3.join()
t4.join()
子域名爆破模块
该模块与服务器Flask是分开的。Flask负责将前端接受的关于子域名破解的信息存储和更新到数据库中，而核心的子域名暴力破解程序则使用调度器每隔一段时间循环检查数据库中的配置文件，当数据库中有数据满足暴力破解程序运行的条件时，就开始执行程序，对目标进行子域名暴力破解，并将结果存储在数据库中。
简介
InsectsAwake/views/subdomain_brute.py 核心文件，用于对目标进行子域名查找
InsectsAwake/views/modules/subdomain/subdomain.py flask后端文件，用于接受前端的数据并存储在数据库中
执行函数
def subdomain():
每30s运行一次子域名爆破程序
scanner_time
print()
subdomain_loop_execute(scanner_time)
细节函数分析
class DomainsBrute:
def __init__(self, target_domain, subdomain_dict, domain_id, domain_name):
初始化类和成员变量
:param target_domain: 目标域名host
:param subdomain_dict: 子域名爆破字典
:param domain_id: 域名在数据库中所对应的IP
:param domain_name: 域名的名字，如百度
def resolver_check(self):
对随机生成一个域名并进行处理，如果这个随机的域名存在就返回解析的结果
:return: [] or False
def handle_domain(self):
组成新的二级或者三级域名
:return: : [u, u, u]
def handle_result(self):
获取处理的结果，如果该二级或者三级域名存在，则存入数据库，
:return:
def save_db(self, result):
将域名爆破结果存储到数据库中test_subdomain
:param result:
:return:
def run_multi(self):
多进程解析域名
:return:
self.handle_domain()
scanner_pool multiprocessing.Pool)
self.result scanner_pool.map(ha_resolver_domain, self.domain_list)
scanner_pool.close()
scanner_pool.join()
self.handle_result()
def ha_resolver_domain(domain):
解析域名，返回解析结果
:param domain:
:return: {: [, ]} or {}
def start_brute(inc_time):
:param inc_time:
:return:
schedule.enter(inc_time, , start_brute, (inc_time,))
subdomain_list connectiondb(config_db).find_one()[]
domain_text connectiondb(domain_db).find():
domain_text[] :
domain_list domain_text[]
domain_id domain_text[]
domain_name domain_text[]
print()
start_date datetime.now()
connectiondb(domain_db).update_one({: ObjectId(domain_id)}, {: {: }})
target domain_list:
DomainsBrute(target, subdomain_list, domain_id, domain_name)
.run_multi()
domain_text[] :
result connectiondb(subdomain_db).find({: ObjectId(domain_id)}):
next_subdomain eval(result[]).keys()[0]
DomainsBrute(next_subdomain, subdomain_list, domain_id, domain_name)
.run_multi()
connectiondb(domain_db).update_one({: ObjectId(domain_id)}, {: {: }})
scan_time datetime.now() start_date
print(, scan_time.total_seconds())
def subdomain_loop_execute(inc,):
schedule.enter(inc, , start_brute, (inc,))
schedule.run()
稍微修改了一下，现在可以单独使用了https://github.com/cmustard06/subdomain
端口扫描模块
端口扫描模块依然是与falsk框架分开的，是一个独立运行的模块，数据的交互主要还是通过数据库进行的，循周期性运行程序，通过查看数据库的关于端口扫描模块的配置信息，如果配置满足一定条件时，就开始执行程序。该模块使用使用了第三方模块APScheduler 该模块是一个Python定时任务框架，使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务、并以daemon方式运行应用。函数实现的是每天14：47执行这start_port_scan这个函数
cheduler.add_job(MultiProcess().start_port_scan, 'cron', day='1-31', hour=14, minute=47)
def nmap_scanner(target_host):
对目标主机的指定断开进行扫描，返回扫描结果
:param target_host:
:return: [{: , : , : , : },]
原函数中存在bug，修改
port_scanner.scan(target_host, .join( % port port eval(target_ports)))
class MultiProcess:
def __init__(self):
self.target_list []
self.server_db db_name_conf()[]
self.asset_db db_name_conf()[]
self.processes_count int(connectiondb(config_db).find_one()[])
self.asset_id
self.asset_name
def scan_pool(self):
不同目标多进程端口扫描，将结果更新到数据库中
:return:
def start_port_scan(self):
从数据库中取出数据，调用start_pool函数
:return:漏洞扫描模块
漏洞扫描模块使用的是知道创宇的开源扫描框架pocsuite，由于该框架在后期升级维护的过程中修改了很多功能，导致如果使用最新版的pocsuite框架运行程序时可能会出现异常，这里采用的是该框架的2.0.4版。比如在测试的时候由于导入下面模块时出现错误，通过查看原函数发现
from pocsuite.lib.utils.password import genPassword
没有genPassword函数，因此手动修改了password.py文件，修改后文件内容如下
Copyright (c) pocsuite developers (https://seebug.org)
See the file copying permission
import string
from pocsuite.lib.core.common import getFileItems
from pocsuite.lib.core.data import paths
from random import choice
def getWeakPassword():
return getFileItems(paths.WEAK_PASS)
def getLargeWeakPassword():
return getFileItems(paths.LARGE_WEAK_PASS)
def genPassword, string.letters string.digits):
return .join([choice(chars) _ range(length)])
修改完成后继续运行测试程序，运行成功。成果获取到了漏洞扫描结果的数据,如下
(, , , , , (0, ), , )
代码分析
函数分析
def verify_poc(self, target):
poc验证函数
:param target:
:return:
def start_scan(self):
使用多线程进行漏洞扫描
:return:
def periodic_tasks(self):
从数剧库中获取任务信息，跟据配置信息周期性扫描目标
:return:
def scanner_loop_execute(inc):
主程序循环执行模块
:param inc:
:return:
数据库模块
数据库结构
# PLUGIN_DB 插件集合
------------------------------------
plugin_appversion 影响版本
plugin_vultype 漏洞名称
plugin_vuldate 漏洞日期
plugin_filename 文件路径
plugin_name 插件名
plugin_appname 应用名称
plugin_author 插件作者
_id ObjectId
------------------------------------
# TASKS_DB 任务集合
------------------------------------
task_status 任务状态
end_date 结束时间
scan_target_list 扫描对象(列表)
task_name 任务名称
plugin_id 插件id
_id ObjectId
start_date 任务开始时间
task_plan 扫描计划
------------------------------------
# VULNERABILITY_DB 漏洞集合
------------------------------------
scan_result 扫描结果
target 扫描对象
task_id 任务ID
appname 应用名称
scan_date 扫描日期
poc_name 插件名称
vulversion 漏洞影响版本
poc_vultype 漏洞类型
task_name 任务名称
plugin_id 插件ID
_id ObjectId
------------------------------------
# ASSET_DB 资产库集合
asset_date 创建日期
scan_option 资产发现
asset_text 资产
asset_name 资产库名称
dept_name 部门名称
admin_name 管理员
_id ObjectId
------------------------------------
# CONFIG_DB 配置集合
------------------------------------
port_thread 端口扫描线程
scanner_thread 漏洞检测线程
port_list 端口扫描列表
config_name 配置文件名称
subdomain 子域名字典
------------------------------------
# SERVER_DB 服务集合
------------------------------------
host 主机
asset_id 资产库ID
port 端口
port_server 服务
banner 指纹(cpe)
scan_date 扫描日期
asset_name 所属资产库
------------------------------------
# DOMAIN_DB 服务集合
------------------------------------
domain_text 主域名
scan_option 三级域名扫描
dept_name 域名所属部门
domain_date 创建日期
domain_name 域名名称
_id ObjectId
------------------------------------
# SUBDOMAIN_DB 服务集合
------------------------------------
date 扫描日期
domain 主域名
_id ObjectId
result 子域名
domain_id 主域名ID
domain_name 域名名称
------------------------------------
# WEEKPASSWD_DB 服务集合
------------------------------------
date 扫描日期
target 检测对象
task_name 任务名称
post_data 登录数据包
status 检测状态
week_passwd_count 弱口令数量
error_data 失败标记
success_data 成功标记
username 账号
password 密码
week_passwd_result 存在弱口令的结果
_id ObjectId
------------------------------------
`
数据库详情
该系统使用的所有模块之间都是通过数据库进行数据交互的，每个模块都是相对独立的运行，单独拿出来做测试也是没有问题的，在进行代码分析时也很友好，一个槽点就是漏洞扫描模块使用的pocsuite开源框架有一些问题，每一次版本的迭代都有新的功能被添加，旧的功能被删除，导致了官方的pocsuite poc验证插件容易出问题，老版本的poc插件无法在新的框架下运行！！
上述就是小编为大家分享的如何进行InsectsAwke自动化工具源码分析了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注创新互联行业资讯频道。
网站题目：如何进行InsectsAwke自动化工具源码分析
标题路径：
http://www.cdkjz.cn/article/jpoeih.html
https://blog.csdn.net/educast/article/details/28273301 进行适当修改