教你如何搭建威胁情报库 老男孩网络安全周末班

    /    2019-09-09

一、前言

威胁情报是一种基于数据的,对组织即将面临的攻击进行预测的行动。预测(基于数据)将要来临的的攻击。威胁情报利用公开的可用资源,预测潜在的威胁,可以帮助你在防御方面做出更好的决策。 在企业或政府乃至国家,拥有一个高准确度,大数据量的威胁情报库是至关重要的。

二、简介

本文主要针对是初学者,刚起步的搭建自己的威胁情报库的企业,通过简单便捷的python脚本来搭建自己的恶意ip数据库。此恶意数据库的IP来源于国外较为权威的威胁情报。本文只是讲述其中的黑名单ip如何搜集,方向还可以拓展为恶意域名,恶意证书,可用类似方法。之所以要收录国外的开源情报威胁库,更大程度上是因为国内各个网络安全公司不会将自己的数据库分享,也是用与我一样的思路爬取国外信息为主。

三、黑名单IP(C&C,恶意软件,垃圾邮件,网络爬虫)

首先,代码将从国外权威平台的威胁情报源下载黑名单IP列表,其中包含(c2 服务器,垃圾邮件,网络爬虫,间谍软件和其他恶意软件)。并且在收集含有黑名单ip的文件同时,还需要聚合筛选数据,只提取重要可用的数据。

我们需要将下面的命令写入cron中,可用来每5分钟自动下载一次黑名单IP

"""
crontab -e
"""

在配置文件中添加下面三行

"""
*/5 * * * * cd && wget http://osint.bambenekconsulting.com/feeds/c2-ipmasterlist.txt
*/5 * * * * cd && wget reputation.alienvault.com/reputation.data
*/5 * * * * cd && wget https://myip.ms/files/blacklist/general/latest_blacklist.txt

在Home中,创建新py文件叫merge.py

"""
Filename: merge.py
Arthor:Mike
Date:2019.8.5
"""

打开文件

c2=open("c2-ipmasterlist.txt","r")
bl=open("latest_blacklist.txt","r")
reputation=open("reputation.data","a")

以行来分开下载的数据

for line in c2:
  ip = line.split(',')
  reputation.write(ip[0]+ ",c2\n")
for line in bl:
  ip = line.split()
  try:
    reputation.write(ip[0]+ "\n")
  except:
    pass

在执行代码之前,还需要添加一个命令在cron文件中,它会用下面的命令每5分钟导入黑名单IP列表:

打开cron的配置文件

crontab -e

添加运行每5分钟一次的merge.py文件,用于拓展黑名单数据量。

然后再重启cmikewhorontab服务:

service cron restart

这张截图显示merge.py所结合的恶意ip,域名的总文件

再次创建新py文件,检查IP是否被列入收录中的黑名单。

import mmap

打开IP收录文件,检测流量中的IP是否在黑名单中

file = open("reputation.data")
IP ='207.241.231.146'
s = mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ)
if s.find(IP) != -1:
  print "This "+IP+" is blacklisted"
  file.close()

四、总结

本文简单地描述如何利用开源威胁情报,帮助我们更好的防护网络不受到恶意的攻击。阅读者可以展开思维,通过爬虫技术去搜集各个情报源的C2数据库。

五、提示

经提示因为配置文件不同,可能造成一些同学无法启动crontab。这里为更详细的教程图解帮助大家配置威胁情报库。

开启crontab日志

crontab默认情况下是不执行开启日子的,所以一开始写完后,不能执行,想查看日志,却找不到。所以先开启定时任务的日志来查看

修改rsyslog服务,将 /etc/rsyslog.d/50-default.conf 文件中的 #cron.* 和#daedon.* 前的 # 删掉;

用以下命令重启rsyslog服务:

service rsyslog restart

然后再重启crontab服务:

service cron restart


*本文作者:mikewho,转载须注明来自FreeBuf.COM

(0)

分享至

香港最快現场开奖结果 大名县| 吉首市| 博湖县| 宜良县| 天台县| 汉源县| 六枝特区| 伊通| 盐城市| 巴林左旗| 枣庄市| 溆浦县| 故城县| 商南县| 忻州市| 景德镇市| 丹江口市| 平顺县| 柳河县| 海兴县| 南涧| 英吉沙县| 临海市| 汶川县| 胶南市| 延安市| 鞍山市| 梓潼县| 台南市| 扶沟县| 天长市| 鄂托克前旗| 齐河县| 遂宁市| 蕲春县| 七台河市| 雷州市| 湾仔区| 郯城县| 红河县| 莒南县| 绥阳县| 博乐市| 上高县| 云浮市| 阆中市| 麻阳| 海伦市| 盱眙县| 鄂尔多斯市| 辽宁省| 镇宁| 疏附县| 恩施市| 普定县| 邢台市| 上虞市| 监利县| 平武县| 曲水县| 扎囊县| 澄江县| 德清县| 哈密市| 南充市| 横峰县| 马山县| 阜新市| 诸城市| 马公市| 宁安市| 仙游县| 罗平县| 突泉县| 文水县| 香河县| 炉霍县| 鲁山县| 清徐县| 丁青县| 鱼台县| 明星| 县级市| 安国市| 铜山县| 敦化市| 锦屏县| 边坝县| 灵山县| 新安县| 惠安县| 漳州市| 棋牌| 江都市| 台南县| 丁青县| 文成县| 揭阳市| 视频| 平乐县| 新巴尔虎右旗| 兰西县| 读书| 红安县| 宝应县| 石楼县| 蓬溪县| 辽阳市| 凤翔县| 乐安县| 丰原市| 启东市| 南川市| 玉田县| 丰都县| 江川县| 无极县| 诸暨市| 额尔古纳市| 青浦区| 万源市| 濮阳市| 连云港市| 台南市| 商城县| 井冈山市| 石台县| 莱芜市| 府谷县| 隆化县| 图片| 洛宁县| 民县| 安达市| 临海市| 满城县| 福泉市| 靖安县| 扎鲁特旗| 汉源县| 金山区| 西昌市| 类乌齐县| 普宁市| 凤庆县| 武邑县| 探索| 广安市| 句容市| 朝阳市| 黎平县| 舞阳县| 竹北市| 山东省| 德钦县| 陈巴尔虎旗| 固原市| 沭阳县| 嫩江县| 女性| 涪陵区| 丹寨县| 凭祥市| 凭祥市| 金寨县| 宣威市| 鄂伦春自治旗| 三原县| 卢氏县| 石景山区| 河北区| 财经| 水城县| 阜康市| 北辰区| 维西| 柘荣县| 阿拉善右旗| 临汾市| 水富县| 鹰潭市| 城市| 手机| 元阳县| 西贡区| 灵石县| 永定县| 阳春市| 怀集县| 麻栗坡县| 凤阳县| 如东县| 四子王旗| 荥阳市| 滦南县| 灌阳县| 常州市| 崇阳县| 阿拉尔市| 黎城县| 尉氏县| 剑河县| 衡水市| 靖江市| 福鼎市| 苍梧县| 阜宁县| 巴林左旗| 红原县| 通城县| 汨罗市| 富阳市| 紫云| 高台县| 乌兰浩特市| 连州市| 纳雍县| 大竹县| 丹凤县| 达州市| 郧西县| 中牟县| 齐齐哈尔市| 桦南县| 盈江县| 汤原县| 日喀则市| 库尔勒市| 土默特左旗| 盐池县| 房山区| 聊城市| 珠海市| 宁乡县| 南投县| 会昌县| 临漳县| 泽州县| 凤台县| 秀山| 清水河县| 监利县| 宜阳县| 布尔津县| 承德县| 隆尧县| 宁安市| 元谋县| 西青区| 安泽县| 樟树市| 祁东县| 宣威市| 鹤山市| 商丘市| 闵行区| 大宁县| 化州市| 沧源| 台东市| 海伦市| 沅陵县| 玛多县| 深泽县| 青冈县| 商河县| 大田县| 衡水市| 乌恰县| 桂东县| 乌兰浩特市| 永靖县| 沂水县| 科技| 云龙县| 洛南县| 无棣县| 剑川县| 墨玉县| 木里| 永城市| 昌宁县| 定兴县| 察雅县| 永善县| 宁波市| 肥东县| 修文县| 穆棱市| 本溪| 奎屯市| 东海县| 雷波县| 察隅县| 景泰县| 房产| 禹州市| 大新县| 东乡族自治县| 永济市| 民勤县| 华蓥市| 铁力市| 平乐县| 泰顺县| 增城市| 枣强县| 福州市| 陆良县| 疏勒县| 溧阳市| 全南县| 德保县| 南漳县| 綦江县| 梁山县| 太仆寺旗| 宁河县| 凤冈县| 建平县| 玛纳斯县| 仙居县| 全州县| 博乐市| 滦平县| 阿拉善左旗| 安阳县| 上栗县| 衡山县| 桐城市| 广宗县| 洪雅县| 西充县| 东至县| 德安县| 历史| 安新县| 常熟市| 连州市| 玉门市| 卢湾区| 桐庐县| 樟树市| 延津县| 寿宁县| 京山县| 宣恩县| 海林市| 洛南县| 内乡县| 盘锦市| 长武县| 嵊泗县| 乌苏市| 汾西县| 遂川县| 剑阁县| 祁连县| 大理市| 博乐市| 依兰县| 静安区| 瑞安市| 庆安县| 大同市| 芒康县| 夏津县| 麻阳| 高碑店市| 益阳市| 仙居县| 淅川县| 隆昌县| 米泉市| 珲春市| 隆回县| 凤台县| 海南省| 浏阳市| 惠来县| 海林市| 中西区| 读书| 卢龙县| 孟州市| 乐都县| 清苑县| 海安县| 泗洪县| 新民市| 汶上县| 西平县| 新泰市| 陆丰市| 漯河市| 铁岭市| 商洛市| 宜阳县| 通州区| 安远县| 姚安县| 德州市| 潞西市| 江西省| 铜鼓县| 铜陵市| 永泰县| 东城区| 麻阳| 淅川县| 休宁县| 孟村| 夏津县| 平山县| 肥西县| 刚察县| 岫岩| 徐汇区| 东明县| 仁寿县| 桐梓县| 河东区| 志丹县| 皮山县| 余庆县| 南部县| 云霄县| 巩义市| 兴海县| 景德镇市| 金川县| 阿鲁科尔沁旗| 布尔津县| 乌拉特中旗| 子洲县| 板桥市| 建平县| 麻阳| 民权县| 阳春市| 长汀县| 新绛县| 江孜县| 郓城县| 阿瓦提县| 宝丰县| 靖远县| 吉水县| 广汉市| 宜宾市| 达孜县| 宜宾市| 昌吉市| 淳化县| 乌鲁木齐市| 鹤岗市| 宜兰市| 威远县| 正阳县| 阿拉善左旗| 科技| 平舆县| 隆德县| 湖州市| 遂平县| 宜城市| 喜德县| 潞西市| 祥云县| 台江县| 汝南县| 尤溪县| 广灵县| 平南县| 淮安市| 晋城| 崇左市| 鲜城| 桐柏县| 金山区| 贵阳市| 玛曲县| 平乡县| 建平县| 连城县| 宝兴县| 江陵县| 长春市| 中卫市| 自治县| 宁国市| 华亭县| 衡南县| 博乐市| 广灵县| 砀山县| 乐山市| 民和| 佛冈县| 盐津县| 太白县| 叶城县| 屯门区| 南阳市| 松原市| 元氏县| 孟连| 新丰县| 房产| 青田县| http://www.yqo9j7rl5v.fun http://www.bo2020costs.fun http://m.yqo2j5rl9v.fun http://m.gz1980handc.fun http://www.bo2020pairs.fun http://wap.bo2020suits.fun http://wap.yqo6j1rl8v.fun http://m.gz1980dancec.fun http://www.bo2020corners.fun http://wap.bo2020spirits.fun http://wap.yqo1j5rl0v.fun http://www.gz1980labelc.fun http://wap.gz1980researchc.fun http://wap.bo2020blows.fun http://m.yqo1j2rl6v.fun