基于数据挖掘的网络安全系统（PDF精品）

公司致力于打造国际最的信息安全企业，公司以研发、生产、销售计算机反病毒产品、涉密安全产品和网络安全产品为主，产品包括：utm统一安全网关、防火墙、防毒墙、vpn、入侵防护、网络流量控制、网络审计系统、网络版防病毒、内网安全系统、安全出入管理系统、人脸识别翼闸综合管理系统、移动存储介质管理系统等系列安全产品，提供综合性安全解决方案、包括（政府、金融、电信、教育、石油、化工、电力等行业）针对网络安全风险评估、等级评估、信息系统安全工程监理等。对于这种由病毒引发的网络风暴解决的最直接的办法就是找出风暴的源头，这时只需要在网络中的一台计算机上安装一个防火墙，例如金山网镖，启用防火墙后你就会发现防火墙不停的报警，打开后可以在“安全状态”标签的安全日志中看到防火墙拦截来自同一个ip地址的病毒攻击，这时你只要根据ip地址找出是哪一台计算机，将其与网络断开进行病毒查杀，一般即可解决问题。江民防火墙（新）是一款专为解决个人用户上网安全而设计的网络安全防护工具，产品融入了先进的网络访问动态监控技术，彻底解决黑客攻击、木马程序及互联网病毒等各种网络危险的入侵，全面保护个人上网安全。

从行业面临的痛点和挑战上看，“般若”平台通过百度独有的数据特征和算法，提出了整体解决方法：百度的“般若”风控平台，可一一破解难题：百度的梯度增强决策树可以聚合大数据高维特征，可以实现高维数据降维、增加风险区分度。给定一个 待分词的句子, 就是观察序列, 对hmm(bems)四种状态的模型来说, 就是为了找到一个最佳的bems序列, 这个就需要使用viterbi算法来得到这个最佳的隐藏状态序列, 具体的python版的viterbi算法请看维基百科:%e7%bb%b4%e7%89%b9%e6%af%94%e7%ae%97%e6%b3%95 维特比算法。 (对kdd定义进行扩展)2 文本挖掘的基本思想首先利用文本切分技术，抽取文本特征，将文本数 据转化为能描述文本内容的结构化数据，然后利用 聚类、分类技术和关联分析等数据挖掘技术，形成 结构化文本，并根据该结构发现新的概念和获取相 应的关系。

E-mail: info@cccc.net.cn 1009-30444087Computer Knowledge and Technology电脑知识与技术本栏目责任编辑： 冯蕾网络通讯及安全第8卷第17期 (2012年6月)特征值方差为1， 均差为0， 接着进行正规化， 将X中的各个特征值正规化在0～1范围内， 正规化公式为：min(-=ijx接着， 使用距离函数公式 （Manhattan 距离、 Euelidean距离, Manhattan 距离） 计算距离。1.2聚类算法分析算法流程为： 首先对聚类数据进行预处理， 将矩阵X中的各个特征值正规化在0～1范围内， 接着， 选取聚类中心及隶属度， 对目标函数进行迭代， 在迭代过程中， 通过更新聚类中心及隶属度， 直到迭代得到最够小， 此时， 得到了聚类中心和隶属度矩阵。过聚类数据预处理后， 将矩阵X中的各个特征值正规化在0～1范围内， 目标函数为：åå=l1， 采用Euelidean距离公式：=iw 表示X从属于类L的程度， 且满足下式：ìÎil,] 1 , 0 [wm)1,2...,j1,2...n,i)min()max()==-ijijijijxxxx，（2）=-=niklialiCXdkf112)))(((w，（3）其中， a为模糊因子， 量距离为：),(llcxdd =å£i£-niibaBAd2)(),(，（4）隶属度il,ïîïïïíïï<<=å=lå=lnnilkil1,1,01ww（5）为了获得最小的f， 必须选择合适的隶属度公式 （5） 可计算出隶属度i l,w和聚类中心lC， 且满足约束条件å==klil1,1w， 经过求偏微分及使用拉格朗日， 并结合il,w 为：å=j++=klidd1) 1/(12) 1/(12))/ 1 (()/ 1 (aaw，（6）然后用目标函数f对聚类中心l C求偏导数， 得到聚类中心l C 的更新公式为：(w)(w)å=iå=iå=jå=j÷ø÷÷÷÷öçèççççæ÷÷øöççèæ÷÷øöççèæ=nnkijjiillilikijjiilliililddddXC1121222122////aaaaaawwww（7）2 网络安全系统设计2.1网络应用中常见的问题1） 领导无法得知网络的利用情况， 做相关决策时没有；2） 各种应用抢占有限的网络带宽， 影响视频会议， 网上学习等正常应用；3） 无法对网络异常进行诊断和病毒源进行定位， 导致网络的长时间瘫痪；4） 上网行为得不到管理和控制， 用户可以进入不良信息网站或玩网络游戏；5） 使用BT等P2P软件， 严重影响网络的速度， 对正常的工作带来不便；6） 无节制利用即时通讯软件聊天交友， 不能集中精力于工作、 学习；7） 不加管理访问和下载， 带来了不可预知的病毒使得网络都处于高危状态。

2.2功能需求分析1） 具有流量审计功能， 系统可以生成上网流量的当日、 历史分析图表， 可以实现灵活查询；2） 在进行视频会议期间， 严格控制其他占用大带宽的行为发生；3） 具有对网络异常进行诊断和病毒源进行准确定位功能， 对病毒源将进行无条件封堵；4） 具有灵活的上网控制功能， 系统能够实现对监控内IP地址内的计算机进行上网限制， 可以实现对网络的策略控制管理， 对用户访问的网站进行监控， 限制用户进入不良信息网站， 同时， 根据需要灵活控制用户玩网络游戏 （如： QQ游戏、 联众游戏、 中国游戏4088Computer Knowledge and Technology电脑知识与技术网络通讯及安全本栏目责任编辑： 冯蕾第8卷第17期 (2012年6月)等） ；5） 限制严重影响网络的应用软件的使用， 比如P2P软件， 需要分时段分权限进行速度控制；6） 限制使用即时通讯软件 （如MSN 、 ICQ、 QQ） 聊天交友， 对聊天内容进行监控，防止工作时间聊天现象的出现；7） 对下载内容进行监控电脑知识与技术 pdf， 防止下载不健康内容及下载正常文件携带来不可预知的病毒， 实时拦截任何访问不良站点的网络行为， 并返回警告页面给用户端。

它的算法先分析数据中心的操作日志来理解任务，然后通过反复模拟运行来优化过程。我理解为“实体”（一个场景）自从创建起就连续的发展，但经过不完全恢复后，要重新设置起点，然后继续来连续的发展，而的连续性是通过scn来保证的，在不完全恢复后，的控制文件，保证重做日志文件和数据文件的scn是不一致的，所以要求通过resetlogs打开来他们的scn的同步一致前段时间我的系统cpu总是有23%在等待，但不知道在等待什么，这几天想到一定哪个内存段没有正常退出，于是通过下面对命令查找异常的内存段并释放查找内存段：#ipcs -ma释放内存段#ipcrm -m在这之后，cpu恢复正常，但第二天发现我的rman异常，推断我强制释放的内存段可能和rman有关，我的查询库是通过用rman备份集恢复出来的我用rman连接两个库时，无论我如何调整 （reset database to incarnation number）都是分别报如下两个错误rman-20003: target database incarnation not found in recovery catalogrman-20011: target database incarnation is not current in recovery catalog当时想了半天也没想明白，事后在回家的路上突然想到，查询库经历了不完全恢复（也就是resetlogs打开），使其incarnation和主库的incarnation的不一样（incarnation是通过 scn和dbid，db key来识别的）。异常的日志中可以记录和当前操作密切相关的参数信息，比如搜索的路径，视图名等等，有关方法的信息不用过多记录，异常一般都带有调用栈信息。

4） 用户行为： 在整个网络监控过程中， 应用聚类分析算法， 通过循环不断地自适应修改预定义的划分规则， 对用户的行为数据重新进行划分并进行相应描述， 这样可以获得更好的结果， 进而提高安全监控的自适应能力。5） 更新知识库： 对在知识库中不能准确判定的行为， 则判定其为不确定数据， 存入存储器， 再进行二次挖掘， 对历史数据的聚类结果进行分析， 从中提取异常和正常行为特征， 对这些行为特征进行编码， 并转变为行为规则， 形成用来对当前审计数据进行检测的知识库;当然， 也可以通过人工的训练进行规则学习， 通过利用聚类分析算法将这些数据抽象成为许多具有类似行为的类， 再将这些数据转变成为规则， 再添加到知识库中。3 测试结果分析为了对数据挖掘算法进行有效的评价， 采用了检测率及误报率作为评价指标， 相关定义如下：0´=所有的入侵检测到的入侵检测率，0´=所有的正常行为正常行为被误报为入侵误报率， 检测率越高， 误报率越低， 这说明所提出的数据挖掘算法检测性能越好。表1为检测结果。从表1可以看到， 平均检测率为89.24%， 平均误报率0.77%， 且检测率及误报率比较稳定， 没有出现大波动， 说明提出的数据挖掘算法在网络安全中具有较高的检测率及较低的误报率， 验证了本算法在网络安全系统中应用的有效性及正确性。

4 结束语网络安全问题随着互联网的广泛应用而愈显突出， 网络安全监控技术通过分析网络数据对当前的网络安全状况进行判断， 保障网络信息安全方面， 但由于网络数据流量非常大， 如何在海量的日志和审计数据中挖掘出对安全有用的信息成为网络安全系统（下转第4109页）4089Computer Knowledge and Technology电脑知识与技术网络通讯及安全本栏目责任编辑： 冯蕾第8卷第17期 (2012年6月)GP默认路由反射给SR1。SR1上只有一条IBGP默认路由， 下一跳为CR2， SR1通过OSPF路由表递归查询到下一跳为BR4， BR4通过OSPF迭代查找到下一条为CR2则流量通过L （SR1BR4CR2省网2） 。根据上述路由发布及流量引导过程， 全网运行OSPF、 出口运行BGP部署方式中产生的流量黑洞被完全避免了。2.4解决回程流量不均衡出现瓶颈的问题继续讨论2.3章节出现的流量瓶颈， 出现流量瓶颈后， 可在根据SR1上所接入用户地址进行流量调整。根据A Border GatewayProtocol 4 (BGP-4)” RFC1771关于LOCAL_PREF的选路定义[4]， 通过向CR1、 CR2分别通告SR1下接入用户路由的LOCAL_PREF不同,可对回程流量进行调整。

另外，从电平的调整方面来看，cmts接入方式，无论在机房接收机、光节点、放大器、用户终端都要考虑电平的问题，各链路都要进行均衡和调整，要从主要设备发信号进行链路的调整，因为网络不好等各方面原因下面，就很难做到各链路衰减相等，因此cm发射电平很难做到统一，同时由于各个链路要汇聚到光节点再汇聚到机房，中间环节过多，不稳定因素增多。例如在运营商信令采集方面，以广东移动为案例，通过旁路部署的方式fs9000系列分流器和后端分析服务器一起，实现对10ge及ge链路上流量的分析，通过分光器或者交换机对10ge链路进行分光或者镜像，将采集下来的数据输入到fs9000系列分流器上，fs9000设备将接收到链路流量协转成以太网报文，再根据分流器上的规则配置对流量中的特定ip报文进行过滤，并最终负载均衡输出到后端服务器，做进一步的报文分析和处理。一旦企事业单位网络出口处一条链路出现故障，流量将自动切换到其他的链路上，这有效保证了单位的链路访问安全。

3 展望随着MPSL L3 VPN业务的日益发展， 大量的用户VPN路由将依靠MP-BGP进行更新， 因此部署BGP至城域网设备成为必然， 虽然部署MP-BGP对于IPv4协议簇并未有影响即对于现网业务没有影响， 但是随着IPv4路由迁移， 将全网运行OSPF、 出口运行BGP路由协议改造为全网运行OSPF+BGP路由选择协议是一个对现网改造的过程， 这会影响现网业务。所以此工程涉及面广，工作量大电脑知识与技术 pdf， 影响范围远， 需要进行详细的分析及考虑才可进行。参考文献：[1] J. Moy, OSPF Version 2, RFC2328, April 1998.[2] 施文辉.IP城域网优化方案研究与实施案例[M].北京:北京邮电大学,2008. 35-37.[3] Liang Ben-lai1,Yang Zhong-ming2,DENG Jia-bin1, Load Balance Algorithm of Multiple Links Based on Traffic Schedule, Computer En⁃gineering[J], 2011(9): 118-119.[4] Y. Rekhter, T. Li.A Border Gateway Protocol 4 (BGP-4), RFC1771, March 1995.（上接第4089页）测试数据集数据集1数据集2数据集3数据集4数据集5平均值正常数据量120012101220123012401220入侵数据量253246576344.6检测到的入侵量222741525739.8正常行为被误报为入侵量99101099.4检测率88%84.34%89.13%91.23%90.48%89.24%误报率0.75%0.74%0.82%0.81%0.73%0.77%表1数据挖掘算法的检测率及误报率的检测结果设计的关键， 作为一种新兴的知识发现技术的数据挖能够从海量的网络数据中挖掘出与系统安全相关的信息特征， 对解决网络安全问题具有非常大的优势， 将数据挖掘技术应用到网络安全中具有十分重要的现实意义。

参考文献：[1] 林冬茂.数据挖掘技术在垃圾邮件检测中的应用[J].计算机仿真,2012(2).[2] 郑艳君.数据挖掘技术在网络安全中的应用[J].计算机仿真,2011(12) .[3] 王风磊.改进的聚类算法在入侵检测中的应用[J].电脑知识与技术,2011(27) .[4] 李德新.基于数据挖掘的网络日志分析[J].电脑知识与技术,2011(25) .[5] 付海辰.基于数据挖掘技术的聚类分析算法在异常入侵检测中的应用[J].软件导刊,2011(5).4109

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-116617-1.html