这种大型网格海量数据解决方案提高了效率

中国幅员辽阔，人口众多，许多民生工程至关重要. 电网就是一个典型的例子. 作为世界上最大的公用事业公司，电网运营区域覆盖全国，供电人口巨大. 它是与国民经济生命线和国家能源安全相关的重要国有企业. 它负责确保更安全，更经济，更清洁和可持续的电力. 供应基本任务. 但是，作为电网运行的支撑基础，电网信息化建设始终面临着大跨度，异构管理，根深蒂固的问题，企业信息化建设也在不断向前发展.

除了面临传统信息化建设转型的挑战，电网还面临来自“ Internet +”的压力. 在“ Internet +”的一般环境下，其业务形式和服务理念发生了变化，让电网意识到信息化必须为用户服务，而用户体验是“ Internet +”趋势的主要竞争力. 同时，利用巨大的电网系统产生的大量历史实时数据也是一个问题. 如何对电网各环节的运行和监控过程中产生的大量历史实时数据进行相应的存储，集中，集成，共享和分析. 提供标准，统一的接入服务是电网信息化建设的重要组成部分.

大量，新的，难集中的日志管理可以提供帮助

在电网的海量数据中，更麻烦的数据之一是日志. 众所周知，多年来，电网一直在不断更新和发展，多年的积累使各方面的设备种类更多. 同时，由于开发服务器的数量不断增加，这也涉及到省，市，县的多级访问，因此我们可以面对的复杂情况是可以想象的. 此外，电网已进入云转型阶段，运维人员已从数百台小型机变为数千台x86服务器和数千台虚拟机. 日常操作和维护也带来了新的复杂变化.

庞大的基础架构也表明业务系统的多样化. 数百个系统（例如生产系统，营销系统，计划系统，财务系统，中间件，等）同时运行，并且由于时间和业务需求的不同，这些系统也有所不同. 他们大多数来自不同时期的不同开发商. 日志非常不规则. 一旦其中一个系统出现问题，将很难及时定位故障，因此日志可以显示值.

集中管理业务系统，基础结构和网络设备日志后，提取不同设备和应用程序的日志字段以进行后续事件分析，其中涉及防火墙，中间件，Linux和Windows操作系统等. 键入日志.

收集后，我们可以基于基于角色的权限管理对日志进行分组，以为用户提供不同的权限. 这样的大型日志可以根据习惯分成几十个组，使整个系统结构清晰明了. 同时，也可以通过仪表板进行分组，以灵活查看不同设备日志的整体运行和维护情况海量数据处理方案，方便在大型系统下掌握不同模块的运行状态，从而有针对性.

集中管理还不够，请使用日志进行深入分析

在复杂情况下实现集中日志管理还远远不够. 这只是第一步. 我们还需要使用获取的日志数据，此时我们面临的情况更加复杂，例如出现一些业务问题，网管监控系统的指标正常，难以快速定位. 来自大量原木的故障.

面对这种情况，我们可以随时读取计划任务的统计结果进行分析，同时对每日统计结果进行二次统计，然后分析每周，每月和每年的业务数据操作和维护，并定期生成报告. ，自动发送用户邮箱.

就深度分析而言，该日志不仅可以通过历史基线比较实时掌握同比数据分析，而且可以更详细地分析不同维度的业务运营. 以下是一些通过日志进行业务分析的典型示例:

上图中的分布图和直方图直观地显示了业务系统的源IP的分布. 可以看出，在过去30分钟内，一个IP的访问量比其他IP多. 经过分析，我们推测有两个潜在原因:

上图中的业务访问间隔是正态分布的. 蓝色区域的访问是正常的，超出区域的访问是异常点. 您可以通过鼠标向下钻取到详细日志，以查看异常情况的详细信息，以便及时解决业务异常.

此外，我们还可以查看业务系统404错误等级，业务系统访问等级，主机状态，交换机概述等的详细状态，还可以对多设备运行和维护进行实时比较数据.

最后，我们还可以通过为不同设备配置警报设置来为交换机的常用关键字配置警报设置海量数据处理方案，并触发警报以生成报告并将其自动发送到用户邮箱.

电网信息化建设复杂，海量日志数据的合理使用为电网提供了便利和巨大价值: 收集网络设备，服务器日志和日志分析，实时运维以预警关键词，分析日志的核心指标；运维自动化和智能化，根据业务逻辑关联分析日志信息，自动分析异常业务流程链接；基于海量日志数据挖掘的智能运维，实现运维异常计划的自动检测和容量预测等. 相信随着海量日志数据价值的深入挖掘，Log Yi将提供更强的后续支持未来的电网.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-246795-1.html