畅谈大数据计算框架

1.大数据计算基本概念

1.1 离线计算

大数据离线计算技术应用于静态数据的离线计算和处理，框架设计的初衷是为了解决大规模、非实时数据计算，更加关注整个计算框架的吞吐量。离线计算的数据量大且计算周期长，是在大量数据基础上进行复杂的批量运算。离线计算的数据是不再会发生变化，通常离线计算的任务都是定时的，使用场景一般式对时效性要求比较低的。

1.2 实时流式计算

实时流式计算，或者是实时计算，流式计算，在大数据领域都是差不多的概念。那么，到底什么是实时流式计算呢?谷歌大神Tyler Akidau在《the-world-beyond-batch-streaming-101》一文中提到过实时流式计算的三个特征：无限数据、无界数据处理、低延迟：

• 无限数据：指的是一种不断增长的，基本上无限的数据集，这些通常被称为“流数据”，而与之相对的是有限的数据集。
• 无界数据处理：是一种持续的数据处理模式，能够通过处理引擎重复的去处理上面的无限数据，是能够突破有限数据处理引擎的瓶颈。
• 低延迟：延迟是指数据从进入系统到流出系统所用的时间，实时流式计算业务对延迟有较高要求，延迟越低，越能保证数据的实时性和有效性。

2.离线计算框架：大数据的主场

2.1 MapReduce计算框架

Hadoop是一个分布式系统架构，由Apache基金会所开发，其核心主要包括两个组件：HDFS和MapReduce，前者为海量存储提供了存储，而后者为海量的数据提供了计算。这里我们主要关注MapReduce。以下资料来源于Hadoop的官方说明文档和论文。

MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。将计算过程分为两个阶段，Map和Reduce，Map阶段并行处理输入的数据，Reduce阶段对Map结果进行汇总。

一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map任务以完全并行的方式处理它们。框架会对Map的输出先进行排序，然后把结果输入给Reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。

通常，MapReduce框架和分布式文件系统是运行在一组相同的节点上的，也就是说，计算节点和存储节点通常在一起。这种配置允许框架在那些已经存好数据的节点上高效地调度任务，这可以使整个集群的网络带宽被非常高效地利用。

MapReduce框架由一个单独的master JobTracker 和每个集群节点一个slave TaskTracker共同组成。master负责调度构成一个作业的所有任务，这些任务分布在不同的slave上，master监控它们的执行，重新执行已经失败的任务。而slave仅负责执行由master指派的任务。

（编辑：阿坝站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!