org.apache.hadoop.conf      提供访问配置文件的借口

配置文件是 name/value 的XML 文件，通常每一个元素都是以<code>String</code> 或者 {@link Path} 的方式给出的，如果是以前者的方式给出的，则会配合类路径来检查这个文件，如果是后者方式给出的，则直接检查对应的文件，比如有下面的定义：

 1: <property>

 2:     <name>basedir</name>

 3:     <value>/user/{user.name}</value>

 4: </property>

 5:

 6: <property>

 7:     <name>tempdir</name>

 8:     <value>{basedir}/tmp</value>

 9: </property>

当有conf.get(“tempdir”) 这样的调用时，{basedir} 被解析为配置的另一个属性，同样{user.name}最终也被解析为系统中具有这个名称的值。

core 文件夹下有个versionProtocol 是所有使用Hadoop RPC 的父类。它只具有一个获取版本的方法。

ClientDatanodeProtocol、InterDatanodeProtocol、ClientProtocol、DatanodeProtocol 和 NamenodeProtocol 是他们的子类。关系如下：

他们在Client、Namenode 和 Datanode 三方的关系如下图：

在hdfs protocol 下是一些公用的Protocol，UML 如下（没有包括namenode 内的protocol）：

NamenodeProtocol

InterDatanodeProtocol

DatanodeProtocol

ClientProtocol（最复杂重要，实现了客户端操作名字空间的接口）

ClientDatanodeProtocol

最后附上namenode 启动的流程

一、集群环境

IP: 192.168.1.31/u31（机器名）/slave、192.168.1.32/u32（机器名）/slave、192.168.1.33/u33（机器名）/master

OS：Ubuntu10 64bits

java：1.6.0

Tool：xshell

参考：hadoop1.0.0 安装记录、推荐这篇、也推荐这篇

继续阅读 →

org.apache.hadoop.hdfs.protocol 包内类：

• AlreadyBeingCreatedException.java
• The exception that happens when you ask to create a file that already is being created, but is not closed yet.
• 当要求创建一个正在被创建且没有被关闭的文件会抛出这样的错误
• Block.java
• A Block is a Hadoop FS primitive, identified by a long.
• Block 是Hadoop FS 的基元，由long 型定义

• BlockListAsLongs.java
• This class provides an interface for accessing list of blocks that has been implemented as long[]. This class is usefull for block report. Rather than send block reports as a Block[] we can send it as a long[].
• 这个类提供了一个long[] 类型的借口用于访问一组数据块，这个类在DataNode 向NameNode 汇报块时有用。

• BlockLocalPathInfo.java
• A block and the full path information to the block data file and the metadata file stored on the local file system.
• 本地数据块和它在本地元数据的全路径。(0.20.0 版本无，故删除)

• ClientDatanodeProtocol.java
• An client-datanode protocol for block recovery
• 继承VersionedProtocol 的一个接口，用于块恢复。

• ClientProtocol.java
• ClientProtocol is used by user code via  {@link org.apache.hadoop.hdfs.DistributedFileSystem} class to communicate  with the NameNode.  User code can manipulate the directory namespace,  as well as open/close file streams, etc.
• ClientProtocol 是Client 端通过org.apache.hadoop.hdfs.DistributedFileSystem 类打开、关闭文件流操作的目录名字空间的

• DatanodeID.java
• DatanodeID is composed of the data node name (hostname:portNumber) and the data storage ID, which it currently represents.
• DatanodeID 由数据节点名称（主机名：端口号）和数据存储ID

• DatanodeInfo.java
• DatanodeInfo represents the status of a DataNode. This object is used for communication in the Datanode Protocol and the Client Protocol.
• DatanodeInfo 代表DataNode 的状态。这个对象是用来在Datanode Protocol 和Client Protocol中进行通信的。

• DataTransferProtocol
• The Client transfers data to/from datanode using a streaming protocol.
• 定义了一些public static final byte 变量，用于Client 流式数据传输协议。

• FSConstants.java 接口
• Some handy constants
• 常用的变量。（每次最小写入5 个数据块，路径长度最多8k，深度最深1k）

• LocatedBlock.java
• A LocatedBlock is a pair of Block, DatanodeInfo[] objects. It tells where to find a Block.
• LocatedBlock 是一组Block，DatanodeInfo[] 对象集合，通过它可以找到一个块（关于块，参考）

• LocatedBlocks.java
• Collection of blocks with their locations and the file length.
• 通过LocatedBlock.java 或者一组数据块的位置和文件长度。

• QuotaExceededException 继承IOException
• The message for the exception specifies the directory where the quota was violated and actual quotas.
• 消息指出异常目录和实际限制

• UnregisteredDatanodeException
• This exception is thrown when a datanode that has not previously registered is trying to access the name node.
• 这个异常是为了应对没有在NameNode 上注册的数据节点要进入NameNode 时抛出的异常，比如其他hadoop 集群部署。

UML 图：

INode*.java 是用于描述目录、文件信息的类，如同我们之前讲到的我们提供给客户端透明的目录层次结构的访问方式，INode/INodeFile/INodeFileUnderConstruction/INodeDirectory/INodeDirectoryWithQuota 四个类，继承关系为：

INode

<<<==INodeFile<<<==INodeFileUnderConstruction（正在构建的文件）

<<<==INodeDirectory<<<==INodeDirectoryWithQuota（有容量限制的目录）

继续阅读 →

org.apache.hadoop.hdfs.server.namenode

版本 hadoop  release1.0.0

继续阅读 →