Hadoop生态系统及各模块的功能，hadoop生态系统的组成与功能

Hadoop生态系统及各模块的功能？

1. HDFS(Hadoop 分布式文件系统)

HDFS 是 Hadoop 生态圈中提供分布式存储支持的系统，上层的不少计算框架(Hbase、Spark 等)都依赖于 HDFS 存储。

2. MapReduce(分布式计算模型)离线计算

何为离线计算，实际上就是非实时计算。

3. Yarn(分布式资源管理器)

Yarn 的产生主要就是为了处理原始 Hadoop 扩展性较差、不支持各种计算模型的问题。

4. Spark(内存计算)

Spark 提供了内存中的分布式计算能力，相比传统的 MapReduce 大数据信息内容服务平台分析效率更高、运行速度很快。

5. HBase(分布式列存储数据库)

Hbase继承了列存储的特性，它很合适需对数据进行随机读、写操作。 其次，Hbase构建在HDFS之上，其内部管理的文件都存储在HDFS中。这使它具有高度容错性和可扩展性，并支持Hadoop mapreduce程序设计模型。

6. Hive(数据仓库)

7. Oozie(工作流调度器)

Oozie 是一个根据工作流引擎的调度器，它实际上就是一个运行在 Java Servlet 容器(如 Tomcat)中的 Javas Web 应用，你可在它上面运行 Hadoop 的 Map Reduce 和 Pig 等任务，。

8. Sqoop 与 Pig

9. Flume(日志收集工具)

Flume 是将数据从出现、传输、处理并后写入目标路径的过程抽象为数据流，在详细的数据流中，数据源支持在 Flume 中定制数据发送方，以此支持收集各自不同的不一样协议数据。

10. Kafka(分布式消息队列)

Kafka 是 Apache 组织下的一个开源系统，它的大特性就是可以实时的处理非常多数据以满足各自不同的需求场景：例如根据 Hadoop 平台的数据分析、低时延的实时系统、Storm/Spark 流式处理引擎等。Kafka 目前它已被多家大型公司作为各种类型的数据管道和消息系统使用。

11. ZooKeeper(分布式协作服务)

通俗的讲，ZooKeeper 基本上等同于一个和事佬的角色，假设两人当中出现了一部分矛盾或者冲突，没办法自行处理，这时还要 ZooKeeper 这个和事佬从中进行调解，而和事佬调解的方法是站在第三方客观的的视角，按照一部分规则(如道德规则、法律规则)，客观的对冲突双方做出合理、合规的判决。

12. Ambari(大数据信息内容服务平台运维工具)

Ambari 是一个大数据信息内容服务平台基础运维平台，它达到了 Hadoop 生态圈各自不同的组件的自动化部署、服务管理和监控告警，Ambari 通过 puppet 达到自动化安装和配置，通过 Ganglia 收集监控度量指标，用 Nagios 达到故障报警。

学历备考资料及辅导课程

学历培训班-名师辅导课程