关于分布式计算的开发与实现（二）

阅读目录:

从上一篇文章继续，离线计算是为了计算已放入仓库的数据，并在查询期间检索和显示批处理数据. 实时计算是在生成数据时计算数据，然后实时显示结果，通常以秒为单位. 例如，如果有一个大型网站，则应实时统计用户的搜索内容，以便可以计算出热点新闻和紧急情况. 根据以前的离线计算方法，它不能满足要求，并且需要实时计算.

小明作为一个有理想和追求的程序员，开始设计他的解决方案，主要分为三个部分.

流程图如下:

通常会介绍Storm是一个分布式的，高度容错的实时计算系统. “分布式”是将数据分发到多台计算机进行计算. 下面讨论“高容错性”. 这里的主要细节是“实时计算”的实现.

风暴具有称为拓扑的角色，它类似于mapreduce作业，并且是完整的业务计算任务抽象. 上一章提到hadoop的缺点是数据源仅依赖HDFS. Storm中Spout角色的出现解决了这个问题. 在Spout内部，我们可以从任何数据源读取数据，例如Redis，消息队列，等. 而且可以有多个Spout，因此更好的分类，例如SpoutA可以读取kafka，SpoutB可以读取Redis. 示例如下:

public class CalcPriceSpout : BaseRichSpout
{
    private SpoutCollector Collector;
    public override void NexData()
    {
        //读取各种数据源，Redis、消息队列、等
        Collector.emit("消息")
    }
}

NexData是代码中Storm的核心方法. 它已被Storm循环调用. 在该方法中，我们实时读取Kafka消息，然后通过Collector组件将该消息传输到各个计算节点. 主. 这样，每当应用程序生成一条数据时，它将实时收集Kafka，然后由NextData使用，然后传输到节点以开始计算. NextData读取的消息在内存中，然后直接通过网络流到节点计算机上的内存以开始计算，并且该消息将不会持久保存在磁盘上.

由于速度相对较快，因此称为实时计算，也称为连续计算，这意味着只要可以是任意值，就可以非常快速地进行计算.

主流的流计算是S4，StreamBase，Borealis，其风暴还具有流计算的特性. 流量计算是指“数据可以像液态水一样在节点之间连续流动，并且每个节点都可以计算出“数据（液态水）”，然后生成新数据并像水一样继续流动. 如图所示:

在图中，Spout是一个水龙头，它通过NextData连续生成数据，然后流过每个Bolt. 螺栓是每个计算节点上的计算逻辑. 它在获取数据后开始计算，并在完成后流向另一个，直到完成为止. Bolt也可以是任意数字，这比Mapreduce只能分为Map和Reduce更好. 这样，您可以在BlotA中计算中间值，然后使用该中间值从任何数据源提取数据，然后流至下一个处理逻辑. 该中间值直接在内存中，并通过网络在BlotB上流动. 它极大地增加了其范围和灵活性. 喷口和螺栓数据流构成有向无环图. 螺栓示例代码如下.

public class CalcProductPriceBolt : BaseRichBolt
{
    private BoltCollector Collector;
    public override void Execute(Tuple<string, string> input)
    {
        //Result=计算计算计算。
        //Collector.Emit("Reulst"); 流动到另外一个节点
    }
}

数据流程图:

结合上一篇文章，发现Hadoop离线计算的计算要求是将业务逻辑包上传到平台，并将数据导入HDFS，以便可以执行计算. 结果数据在显示之前进行计算. 此外，其计算基于批次. 例如，许多公司报告开始每天早晨计算前一天的数据以方便显示. 数据是固定的，计算逻辑是固定的.

Storm的流计算也将计算逻辑包上载到平台，该包由平台计划，并且计算逻辑是固定的. 但是数据可以来自任何来源，并在计算节点上不断流动. 也就是说，在数据生成时，流量计算开始分布式计算能挣钱吗，并且其显示的结果数据实时变化. 数据在流动，计算逻辑不可移动. Storm将生成的每条数据都视为一条消息，这也由消息队列组件zeromq完成.

风暴可在所有级别提供可靠性保证. 当消息从Spout流向boltA，而消息又流向boltB时，Storm将通过独特的XOR设计监视该消息的完成. 这种监视是一项业务. 逻辑类似于bolt，但是由Storm本身（称为Acker）实现. 它的任务是接收每个消息任务的完成状态，然后告诉Spout消息是否已被完全处理. 以下是几种异常处理情况:

下一篇文章编写了一种消息保证机制分布式计算能挣钱吗，并改变了年轻僧侣的设计.

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-195621-1.html