海量数据的存储，分析和处理

操作和维护人员必须及时了解服务器的运行状态. 除了常规的服务器配置海量数据处理 js，资源占用和其他信息外，在业务运营期间还将生成大量日志，异常，警报，状态报告等. “通常，每个服务器每时每刻都会生成大量此类“事件”. 在成千上万个服务器的情况下，每天生成的“事件”数量为数亿个级别，并且存储容量可能会达到结核病水平.

过去，我们常用的方法是将日志保存在本地. 发现问题后，我们将登录到发生问题的服务器以查看日志并排除故障，并通过诸如sar和dmesg之类的工具检查历史状态；监视代理程序或脚本，还将部分状态数据报告给Zabbix等监视软件海量数据处理 js，以进行集中监视和警报.

当服务器规模越来越大时，如何统一和自动化处理这些“事件”的需求越来越强. 毕竟，登录服务器查看日志效率很低，并且成熟的监视软件（例如Zabbix Zenoss等）只能收集和处理许多“事件”的一部分. 当服务器数量增加时，其扩展能力和二次开发能力也非常有限. 在具体实践中，当监测指标超过百万级时，很少再使用这种单一解决方案，而是结合使用不同的工具和软件通过分类来解决问题.

在一般的设计方法中，有一种说法是“大工具，小系统，小工具，大系统”，这也符合UNIX的设计理念，每个工具只能做到一成不变. 小工具组合它可以完成非常复杂的工作. 如果您使用一些大型工具或系统，那么表面上会有很，但是当您要处理更复杂的业务时，您会发现每个功能还不够，并且很难扩展，其功能有多大是. 这取决于它的设计，而不是您的能力.

一个由典型小工具组成的大型系统，可以替换任何部分，可以使用您更熟悉的工具来进行操作，并且替换工具或组件不会对整体产生太大影响.

在存储，分析和处理海量数据时，您会想到各种各样的大数据平台. 是的，大数据平台确实用于处理大量数据，但并非总是如此. 大数据的分析和处理并不总是依赖于大数据平台.

“分类”一词听起来并不客气，但是处理复杂问题的最基本方法是分类，甚至“分类方法”也是机器学习中非常重要的一部分. “海量数据处理”是一个令人费解的大建议，但是当您对“事件”或需要处理的问题进行分类时，每个部分看起来都是可以解决的问题.

以下各章将详细介绍如何对大量“事件”进行分类和处理.

1. 实时数据和非实时数据.

2. 格式化数据和未格式化数据.

3. 需要建立索引的数据和仅需要计算的数据.

4. 完整数据和采样数据.

5. 可视数据和警报数据.

每个类别对应一种或多种数据处理，分析和存储方法. 也可以说，当您完成数据和需求的分类时，就设置了基本框架，剩下的工作就是集成这些工具.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-211799-1.html