HDFS架构基本组成元素理解？

Q： HDFS架构基本组成元素理解？

A： NameNode，又叫“元数据节点”；DataNode，又叫“数据节点”。这两个节点分别承担Master和Worker具体任务的执行节点。

NameNode：主要负责管理hdfs文件系统，包括namespace管理（目录结构），block管理（包括 filename->block，block->datanode list的对应关系）　　

l  是元数据节点，处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；

l  其将所有的文件和文件夹的元数据保存在一个文件系统树中，会在硬盘上保存成以下文件：命名空间镜像(namespace image)及修改日志(edit log)

l  保存了一个文件包括哪些数据块，分布在哪些数据节点上。这些信息并不存储在硬盘上，而是在系统启动的时候从数据节点收集而成的。

DataNode：

l  数据节点，负责存储client发来的数据块block，执行数据块的读写操作。

l  其周期性的向元数据节点回报其存储的数据块信息。

SecondaryNameNode：

l  从元数据节点并不是元数据节点出现问题时候的备用节点，它和元数据节点负责不同的事情。主要分担namenode的工作量，是NameNode的冷备份

l  定时（默认1小时）从namenode上，获取fsimage和edits来进行合并，以防日志文件过大，然后再发送给namenode，减少namenode的工作量。

l  合并过后的命名空间镜像文件也在从元数据节点保存了一份，以防元数据节点失败的时候，可以恢复。

数据块（block）

l  HDFS(Hadoop Distributed File System)默认的最基本的存储单位是128M的数据块。

l  和普通文件系统相同的是，HDFS中的文件是被分成128M一块的数据块存储的。

l  不同于普通文件系统的是，HDFS中，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。比如100M数据就专用100M空间。