AIOPS攻击流量自动检测常用的DDos攻击方法有哪些？

随着AIOPS越来越热，一群系统研发工程师正在尝试利用机器学习和大数据，让艰巨的运维工作变得更高，比如流量请求的智能调度、服务的自动修复异常、机器提前预测故障等。

机器学习

通过历史数据挖掘和机器学习，总结数据规律，实时引导分析网站服务是否异常、服务器负载是否过高、网站是否受到攻击等可能出现的问题存在。

自动检测攻击流量

常用的DDos攻击方式有：SYN Flood、DNS Query Flood、HTTP Flood、慢速连接攻击、P2P网络攻击。抵抗方法一般是针对每种攻击方式，统计syn syn_ack ack rst fin push_ack udp dns icmp http-get http-post等的接收频率和比例，判断攻击类型，然后采用相应的抵抗战略。但是在实际操作中，会遇到一些问题——首先，不同的应用，不同的业务规模，不同的业务类型，所以不同报文的接收频率和比例是不固定的，准确设置相关阈值比较困难。混合类型的攻击。 其次，对于新型攻击，如果没有经验，无法及时发现。

为了解决上述问题，自动发现攻击，发现新的未知攻击类型，我们开始使用机器学习，根据不同网络的日志数据，自动学习不同类型网络攻击的攻击流量数据包。提前清理攻击流量的模型。特别是对于新的和未知类型的攻击，我们期望当攻击的规模还很小，不足以影响业务时，我们可以发现它并开始学习模型。

硬盘故障预测

每天硬盘出错的概率大约是万分之一。当一台服务器只有10块硬盘时，服务器硬盘出错的概率会上升到千分之一。当我们拥有百万台服务器、千万级硬盘时，多块硬盘同时出现故障的情况将成为常态。如何保证硬盘出现错误时数据不丢失，服务不受影响？数据存储通常有多个备份，如mysql主备库，GFS文件默认3个备份。数据显示，在海量数据存储平台上，如果多个硬盘同时出现故障，那么在这些硬盘上存储同一个文件备份的概率已经很高。也就是说，如果多个硬盘同时出现故障，难免会丢失一些文件。对于服务，许多服务依赖于本地文件。如果硬盘出现故障，势必会导致这些服务出现异常，甚至无法提供服务。

所以我们需要有一个系统可以提前告诉我们哪些硬盘会出错，数据可能会丢失。导致硬盘故障的因素有很多，最常见的有以下几种：

1.外部振动

2.温湿度

3. SOC 电气元件损坏

4.声音（轰隆一声，硬盘会碎？）

5.尘

其中一些因素可以收集，例如温度和湿度，以及一些组件数据，但更多的数据无法收集和量化。现在硬盘数据安全技术通常采用S.M.A.R.T. S.M.A.R.T 样品

通过S.M.A.R.T.硬盘各个维度的历史数据和故障信息，结合机器学习算法，我们可以轻松学习不同品牌和型号的硬盘故障模型。使用这个模型，我们可以预测未来2天硬盘故障的概率，以及下周硬盘故障的概率。结合硬盘稳定性的业务需求，运维同学可以提前做出相应的决策，统一规划。数据备份和硬盘更换，防止数据丢失。

什么是机器学习

最直接的理解：

利用已有的输入数据和输出结果，总结出一个规律f(X)，并利用该规律结合已有输入预测未知输出y=f(X)。

举个简单的例子，如何判断一部电影是爱情片还是动作片，我们只需要统计已经分类的电影的亲吻次数和打架次数，然后比较被分类的电影中的吻戏次数。需要预测的次数和打架次数，就可以大致知道这部新片是什么类型的

机器学习，根据样本是否有输出结果，可以分为：

1.监督学习

2.无监督学习

3.半监督学习：有些数据有输出结果，有些没有

按照算法预测的目的，可以分为：

1.类别：预测结果为离散变量，如“Yes”或“No”； “男装”、“女装”或“童装”等。常用算法有：SVM、朴素贝叶斯、最大熵、决策树等

2. Regression：预测结果是一个连续的值，如：price；销售数量;可能性。常见的回归算法有：线性回归、逻辑回归（Logistic Regression）、SVR等

3. Clustering：对未知数据输出结果的输入集进行分类，常用算法有：kmeans、谱聚类

4.主题模型：对文本隐含主题进行建模，常用算法有：LDA、PLSA

5. 降维：主要用于样本和维数较多的数据。通过数学方法，在不改变数据特征的情况下，提取主要特征，降低数据维度。常用算法有：SVD、NMF、PCA

分布式机器学习平台

常用的海量数据机器学习解决方案包括 MPI、Spark、MapReduce。 MapReduce 用于常见的 IO 类型 ETL 相关数据处理任务，而 MPI 和 Spark 主要用于算法模型训练。由于笔者接触到的基于MPI的相关算法比较多，所以主要介绍一下基于MPI的计算平台。

MPI翻译成中文叫Message Passing Interface，不太好理解。简单的说，MPI是一种消息通信标准。只要遵循这个标准，开发者就可以轻松完成网络之间的数据通信和计算。使用MPI这个编程接口，我们可以开发各种机器学习算法，让机器学习算法不再因大数据而无法使用。结合资源管理和调度器，可以轻松实现机器学习算法相关作业的计算和学习。下图为MPI调度服务整体架构图

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/dianqi/article-380457-1.html