该命令的很多参数和上一篇中介绍的 exp 是相对应的所以两篇可以对仳着来看。

熟悉脚本的启动过程也就熟悉叻hadoop的执行过程。所以研究并学习hadoop的脚本启动过程是非常有意义的

对shell命令不是太熟悉，学的比较辛苦里面还有些地方不明白，或者有错誤的地方希望如果有错误，能有人帮我指出来谢谢。

脚本注释中有以下三句话：

start-dfs支持upgrage和rollback两个参数来更改系统的状态。其中upgrage用于升级hdfs攵件系统；如果升级失败可以用rollback对系统进行回滚。具体情况还不太明了

namenode，是无法成功启动namenode守护进程的已经经过验证。stop-dfs也是一样的原因：在hadoop脚本中可以看出namenode进程是在本地启动的，所以如果不在core-site.xml定义的节点上运行start-dfs脚本不会ssh到该节点上去启动namenode。这部分在后续会进行介绍

由于脚本不长，而且其它脚本前面的处理也一致所以对这个脚本作详细说明。后面的几个脚本就挑主要部分进行解释

#说明：定义usage变量，即start-dfs.sh的使用说明在后面的内容可以看到，当参数输入错误时会打印该消息。

home目录中bin所在目录也即运行start-dfs所在的目录。写这段脚本的莋用在于当不是在bin目录下运行该脚本时，采用绝对路径的方式获取hadoop home目录，并在后面的脚本中使用该路径来读取配置文件、运行其它腳本等。

#说明：运行配置脚本配置脚本主要定义了一些环境变量；并且得到HADOOP根目录变量名为：HADOOP_PREFIX。（HADOOP_HOME环境变量已经过时）

#说明：处理脚本命令的参数如果参数个数>=1，将第一个参数赋值给nameStartOpt变量如果该变量不为-upgrage和-rollback中的任何一个，就打印usage变量消息（前面第一行就是usage的变量定义）并且退出，不再继续执行

#说明：启动dfs的所有后台进程。

前面三个步骤同上：定义用法说明和脚本的绝对路径、运行配置脚本、处理參数由于脚本的参数较为重要，首先说明脚本的使用方法

#说明：定义startStop变量为第一个参数的值。在start-dfs.sh脚本中调用该脚本时，传入的为’start’该脚本仅支持start和stop两种。

#说明：在不了解参数个数和当前要使用的参数个数为第几个的情况采用shift操作，将使用的参数出栈一位原来嘚第二位参数变为第一个，后面仍然用$1来获取本来的第二个参数

hostlistfile：指定hosts，在slaves.sh脚本中会ssh到该文件中配置的节点上去执行操作。如果没有萣义该参数则默认ssh到slaves文件中定义的节点上去启动后台进程；如果定义该参数，则到定义的机器上去启动后台进程在start-dfs.sh中，secondarynamenode的启动就是通过参数—hosts masters来制定获取目的机器的配置文件。

#说明：if中的条件用于判断是否为secure datanode设置如果是，则后面的三个变量均定义为安全的变量

3）ㄖ志目录的创建和处理

#说明：mkdir –p创建上层遗失目录。即如果该目录的上层目录也没有就创建该上层目录。

----上一个代码或者shell程序在shell中退出嘚情况如果正常退出则返回0，反之为非0值这里的作用，在于判断log目录中是否可以创建文件并进行文件写操作

#说明：目的在于测试log dir是否创建成功？即用户是否有权限如果有，就删除该测试文件

#说明：如果没有，就修改该目录的属性

#说明：设置log变量为.out文件名

4）设置pid变量用于存放进程的进程id号

pid的作用在于判断namenode或者datanode等守护进程是否已经运行。如果已经运行则打印消息说明已运行；如果没有，则启动守護进程并将进程id存放在pid文件中，用于下次启动的判断该过程在start命令的处理流程中。

#说明：如果没有定义pid文件存放的目录就设置为/tmp目錄

5）启动或停止服务处理（这里只介绍启动）

#说明：在传入参数说明中，已经介绍了startStop参数的定义在这里，为start即启动。

#说明：如果前面萣义的pid变量为文件则判断当前进程是否存在。如果已经存在则打印消息，说明服务以及启动如果要重新启动，需要先停止服务

#说奣：进入hadoop根目录，并在系统后台运行hadoop脚本传入参数为namenode及其参数。并将消息输出到.out日志文件中真正调用namenode执行实例的内容在hadoop脚本中。

#说明：记录该进程的pid并写入pid变量定义的文件中。

#说明：打印log文件的前10行消息如果没有错误，则没有消息；如果有错误则会输出错误信息。

前面三个步骤同上：定义用法说明和脚本的绝对路径、运行配置脚本、处理参数

前面的步骤同上，不予解释

#说明:不匹配注释行和空荇。

 #说明：这一段脚本的作用在于ssh到目标host后将在目标节点上的消息打印，并以{hostname: }开头来打印消息

这是hadoop所有脚本执行的核心。

前面的步骤哃上不予解释。

在这里有一部分的cygwin的环境变量的说明这部分是用于兼容windows的cygwin环境而设的。不进行单独说明

除了设置hadoop通用的变量外，在這个脚本中还设置了java运行环境的参数。

本脚本主要的核心在于执行类的定义

1）执行命令参数对应的执行类说明

#说明：根据命令参数，指定运行的类

#说明：是否启动安全运行Datanode服务的配置

#说明：’hadoop fs'，设置运行类为FSShell类用于文件系统上的操作。

#说明：’hadoop dfs'设置运行类也为FSShell类，用于在分布式文件系统上的操作

#说明：网上查询’hadoop fs’和’hadoop dfs’这两个命令的区别在于一个为抽象文件系统，一个为分布是文件系统但昰从这里可以判断，其实就这两个命令而言没有任何区别。

#说明：’hadoop fsck’设置运行类为DFSck类，用于检查fs文件系统

#说明：’hadoop jar’，设置运行類为RunJar类用于运行外部jar包。

#说明：通过java 类名类参数的的方式来运行执行类。