1.什么是Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算

2.hadoop2和hadoop3的比较

Hadoop最新版本是Hadoop 3.3，那么Hadoop3与Hadoop2 有以下显著区别：

Java的最小支持版本 - Hadoop 2.x - Java 7 - Hadoop 3.x - Java 8

容错性

• Hadoop 2.x - 通过版本复制提高容错性
• Hadoop 3.x - 通过擦除编码技术实现容错性

HDFS联盟

• Hadoop 2.x - Hadoop 1中，仅一个NameNode管理多个namespace命名空间，Hadoop 2中，多个NameNode管理多个命名空间。
• Hadoop 3.x - Hadoop 3中，多个NameNode管理多个命名空间。

存储开销 - Hadoop 2.x - HDFS在存储空间中有200％的开销。 - Hadoop 3.x - 存储开销仅为50％。

总而言之，Hadoop 3.x在功能和性能方面对Hadoop内核进行了多项重大改进，主要包括通用性的改进、HDFS的改进、MapReduce的改进、YARN资源的改进等等。