企业生产应用日志智能分析

7 ted 7 企业生产应用日志智能分析 简单收集 种日志文件 HPUX Syslog 1,301,670 条日志 WebLogic Server Logs 1,084,007 条日志 Database Alert Logs 810,720 条日志 通过 OnDemand Upload (ODU)的方法 人工上载这 个日志文件 只使用了 七个模块 中的日志分析模块 WebLogic Access Logs 83,878,896 条日志 1-Nov-18 2 问题 在 里应用 日志分类，共有 到 万条日志，有什么潜 在问题？ 1-Nov-18 3 （机器学习的一种）， 点击 自动从 万条日志万条日志 里找到 个潜在问题 1-Nov-18 4 操作系统日志分析 1-Nov-18 5 次无效用户登入 1-Nov-18 6 主要集中在 到 ， 每天受到 次登入尝试攻击，共 次登入尝试攻击 来源： 目标： 账号： 建议设置告警或拦截这类攻击。 1-Nov-18 7 日志分析 1-Nov-18 8 问题， 上万次的 通常是 ，有没有下补丁 ？ 1-Nov-18 9 查询启动日志，我 们发现 版本为 ，大约在 年发布，期间已发布 了很多的补丁。

基于日志数据的快速查询系统业务构建于spark之上的shark，利用其快速查询以及内存表等优势，承担了日志数据的即席查询工作。impala如果启动不起来可以去 /var/log/impala/ 目录下看启动日志impala的日志可以在 :25000/logs 上查看到cloudera官方还很友善的提供了impala的各种问题的解决方案，比如查询太慢，join失败等。 内存工作区是该体系结构最重要的模块，全部数据操作及日志处理在这里进行，它在事务处 理时为每一个事务分配一个内存工作区，其中存放数据和日志。

1-Nov-18 14 可能是目录被删除，丌能 备份 上的空间丌够，迚程终 止。 1-Nov-18 15 内存丌足，迚程终止。请 参考 1-Nov-18 16 WebLogic 日志分析 1-Nov-18 17 为什么使用自定义的 ？ 丌完全支持 1-Nov-18 18 次 错误 丌支持 错误 1-Nov-18 19 有做漏洞扫描？还是被扫 描？ 1-Nov-18 20 HTTP 状态分布 1-Nov-18 21 主要是200 撇除200后，主要是304 撇除200和304后，主要是404、403和408 404 403 408 304 200 发现部分安全问题 1-Nov-18 22 攻 击， 尝试获取密码。失败。 1-Nov-18 23 代码注入攻击，失败。 1-Nov-18 24 中心 OMC整体架构图 客户网络代理 Proxy 用户浏览器 性能数据 网关Gateway (可选) 代理(Agent) 数据收集器 (可选) • 协议和端口：https/443 外网访问地址https://<tenantid>.itom.management.us2.oraclecloud.com/* 内网访问网关Gateway server (typically 1830) 服务器 EM13C 服务器 服务器 应用性能管理 安全 IT分析 日志分析 基础实施监控 配置与合规 编排 31 OMC的服务模型 Customer Firewall • 日志集中暂存 • 日志脱敏 • 非业务数据 Python 脚本 Log Agent 核心应用 服务商网络 Log Analytics Https: 443,22 Cloud Gateway • 数据分类 • 二次脱敏 • 数据压缩 • 数据上传 OMC机器分析报告 IT丏家分析报告 基于人工智能的数字化IT管理 应用层 技术能力层 机器学习 算法层 基础架构 DevOps 智能故障修复 根因智能定位 IT服务管理 发现问题 数据源异常标记 单指标异常检测 多指标异常检测 定位问题 问题关联分析 根因分析 故障拓扑分析 故障链 调用树 告警去噪 解决问题 故障止损 数据止损 配置优化 决策支撑 成本分析 容量计划 资源调度 AIOps算法层 性能指标预测 机器聚类 KPI联动分析 KPI事件关联 无监督学习 故障特征提取 ARIMA 卡尔曼 时序数据分解 Holt-Winters 奇异谱变换(SSA) DiD DBSCAN Pearson相关系数 J-Measure 随机森林 Apriori FP-Growth 分类 监督学习 决策树 回归 DNN CNN LSTM/RNN NLP RMDB 告警事件 MQ 性能指标 NoSQL 日志 TSDB 问题单 HDFS Jobs作业 设备 配置库 自动容量调整 27 故障 配置 性能 安全 传统运维关注 管理效果 故障的数量没有改善， 甚至不断上升 人为事故频发 用户体验难以控制， 业务投诉多 各类木马和勒索病毒 难以防范 问题出在哪儿？ 缺少对问题和异常的洞 察和预判，运维管理后 知后觉。

网络管理系统实时监控网络运行情况，及时、全面地掌握数据网上的故障、性能、配置等信息。用户仅需在云rdsweb管理控制台上进行简单的点击操作，即可实现及账号管理、参数配置、性能监控及日志管理等功能，降低对运维人员技能的要求，简化运营流程。应用上线后应用 日志分类，运维工作才刚开始，具体工作可能包括：升级版本上线工作、服务监控、应用状态统计、日常服务状态巡检、突发故障 处理、服务日常变更调整、集群管理、能评估优化、管理优化、随着应用pv增减进行应用架构的伸缩、安全、运维开发工作：。

解决方法 1. 通过机器学习算法的辅助，提升对IT问 题和异常的洞察力。 2. 通过机器预测，提升对性能故障的预警 能力 1. 实时掌控IT配置的变化，洞察配置的属 性及其关联关系。 2. 对配置的合规性进行管理，尽可能通过 自动化手段进行配置，避免人为事故。 1. 通过成熟的技术实时监控用户端的操作 和页面响应时延。 2. 实时洞察页面错误。 3. 构建应用性能和系统容量的模型，消除 瓶颈 1. 对各类型安全事件进行统一管理，统一 分析，统一视图。 2. 通过规则库自动发现和定义高危操作， 高危用户和高危资产。 IT运维乊日常 29 问题出在哪儿？ 故障 配置 性能 安全 传统运维关注 管理效果 故障的数量没有改善， 甚至不断上升 人为事故频发 用户体验难以控制， 业务投诉多 各类木马和勒索病毒 难以防范 缺少对问题和异常的洞 察和预判，运维管理后 知后觉。 对配置的属性以及合规 性缺少洞察和管控。 缺少用户体验管理，同 时缺乏性能与系统容量 计划的管理 缺少统一视图管理和查 看各类安全事件。 解决方法 1. 通过机器学习算法的辅助，提升对IT问 题和异常的洞察力。 2. 通过机器预测，提升对性能故障的预警 能力 1. 实时掌控IT配置的变化，洞察配置的属 性及其关联关系。

这是典型的“rup4+1”多视图架构（业务场景分析、逻辑设计视图、应用部署视图、组件开发视图、运维管理视图）分析方法。同时，通过上面这些内容，你应该可以比较清晰地看到，我们的每一个运维操作都是针对某个运维对象的，这一点在规划运维体系时非常重要。交可执行的客户洞察、设计市场营销策略、优化营销绩效、管理实时营销决策，协助企业建立统一、准确的单。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-116993-1.html