大数据OLAP与OLTP分析

其实，企业里的大多数人员，从总裁到一线的业务人员每天所做的主要多是平衡收益 和风险的决策， 只不过高层管理者做更多的战略性的如投资风险决策， 普通业务人员可能做 的是每一单具体生意的交易风险决策。库管人员根据台账汇总信息和报表统计的结果，制定出总的库存调拨的方案，首先整个库房操作围绕台账这个核心，进行货品的出入库操作，同时辅助有客户信息、货品规格编码信息、经手人员工号信息等，特别是库存的盘点和预警功能的完善，进一步加强了仓库管理人员对仓库库存量的实时控制与调整。中层管理人员不直接指挥、协调一线人员的活动，他们主要是将高层管理者的决策和指示传达给基层管理者，同时将基层的意见和要求反映到高层管理部门，他们是连接高层管理者与基层管理者的桥梁和纽带。

OLTP: 联机事务处理(OLTP，On-line Transaction Processing)应用，它所存储的数据被称为操作数据或者业务数据。

所以从定位上来讲，OLAP的定位是用来做数据分析(类BI),OLTP适合做一些事务的类的数据管理如查询如订单数据的产生。

举个通俗的例子，一个小规模的电商网站，会有下单的流程，那么这个下单流程产生的订单会是在OLTP中，而如果电商的CEO想看本个月的运营情况，如果订单统计，理论上是应该在OLAP（或者仓库）。

所以从本质上来讲，OLAP是读为主而OLTP以写为主。

然后，我们在来做一个基本的分析，就是常见的分析方式：

Ad-hoc query：即席查询（Ad Hoc）是用户根据自己的需求，灵活的选择查询条件，系统能够根据用户的选择生成相应的统计报表。

固定字段分析：即用户的查询条件是固定的，我们可以按照定义好的字段进行报表提供，如周报、月报

关键字查询：如，用户的地址为 北京市朝阳区XXXXX，那么提供按照北京市XXX为关键字的检索查询

统计类查询：如生成一些箱图，热力图等

可以简单分析一下就是，在OLTP中，合理设计的情况下会存在1，3类查询，而在OLAP中会在1,2,3,4类查询。

大家知道，不管在牛逼的系统，都逃不开硬件的限制，如磁盘IO、内存、CPU（往往也是大家忽略的）、网络IO。一般SATA硬盘的读写速度是在50~75M之间，普通网络均为千兆交换机，即100M传输速度。

那我们在来分析一下，的特性：（本文章不讨论的具体实现）

能进行较快查询的原因是因为索引（及缓存）的存在，不同的索引实现结构会稍微不太一样。索引也需要维护。

当时序存储的数据越来越多时，聚合查询不可避免，这也是p分析查询中最常见操作之一，使用预处理可以提高查询性能，但是不够灵活。将用户经常查询的数据放在缓存（内存）中，用户去查询数据就不用从磁盘上(关系型数据文件)查询，从缓存中查询，从而提高查询效率，解决了高并发系统的性能问题。1.1什么是查询缓存mybatis提供查询缓存，用于减轻数据压力，提高性能。

所以综合我的分析，大家可以得出几个结论：

接下来，我通过工作中使用的一些技术给大家做一些分析，希望大家能对这个东西的解决方案有一些了解

我们在几个方面做比较，架构、效率、成熟度、学习难度等。

总结如下：

Hive 目前这个软件适合做OLAP数据仓库类分析、数据清洗等对实时性要求不高的场景

Hive 不支持按照关键词查询，所以不能做搜索

Hive 索引比较弱，达不到的性能。

Hive 不能满足3秒，5秒类似的快速返回的Ad-hoc query（即便将HDFS数据加入内存）

有Insert,update 等初级事务操作，所以可以认为未来可能可以做oltp。

总结如下：

数据量不是特别大，完全装入内存，可以提供秒内的非统计类查询。

不能完全装入内存的统计分析，结果与hive+tez的组合不会差太多，也不会领先特别多。

适合一定的Ad-hoc query场景与Olap 场景，不能做oltp

没有索引，无法做精确的查找，都是暴利扫描。

总结：

所以综合看，目前开源的大数据SQL方案，没有一个是完美的，都是或多或少的缺陷，我们需要由搜索引擎+nosql+redis等方案配合，来完成很多的场景。

它是一个自由/开源的版本控制系统，一组文件存放在中心版本库，记录每一次文件和目录的修改，subversion允许把数据恢复到早期版本，或是检查数据修改的历史，subversion可以通过网络访问它的版本库，从而使用户在不同的电脑上进行操作。104、发芽需要等待，幼苗出土需要等待，花蕾绽放需要等待，果实成熟需要等待。是无连接的包投递服务,为什么是无连接呢,客户端和服务器压根就没有建立连接,服务器只是开放了端口来接受数据,有了就接受,没有就悬挂阻塞.双边的视频观看，走的还是数据报包，有数据报包的ip和端口就行了可以直接的从mediarecord里面已经生成好的视频数据中提取出h264/h263的数据，这些数据已经经过了相应的编码通过内置的videoview来通过rtsp来进行播放，那么也就是说服务器会将传递的rtp的视频数据流封装成rtsp的流传递给手机的videoview来实现观看，同样也不需要解码库，所以开源代码里只有声音的编码库，没有视频的编码库.最好的实现该软件的方法是，借助android的mediarecorder实时提取出h263/h264数据，然后经过rtp封装传给rtsp服务器，这种实现方式最理想，通过获取onprewframe来获取预览帧编码oltp选型oltp选型，无论怎么弄，不可避免的，延时，丢帧各种情况都会让你非常的棘手。

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-115151-1.html