【mac下配置hadoop环境】 - CSDN(手动添加)
(sparkspark2)
(手动添加)
第三方登录：每天一小步，人生一大步.....学习是一个不断积累的过程.......耐得住寂寞...............
mac下hadoop环境的搭建以及碰到的坑点
提示：这里有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 错误的解决的方法，在文章最后面
一、首先要配置好java环境
下载地址：
mac电脑直接jdk-8u144-macosx-x64.dmg一键安装jdk
然后配置jdk环境，
JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_144.jdk/Contents/Home
CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH：
export JAVA_HOME
export CLASSPATH
export PATH
二、ssh配置
首先确认能够远程登录
系统偏好设置－共享 -远程登录
ssh-keygen -t rsa
Press enter for each line 提示输入直接按回车就好
~/.ssh/id_rsa.pub && ~/.ssh/authorized_keys
chmod og-wx ~/.ssh/authorized_keys
ssh localhost
如果ssh localhost还需要密码 查看一下你.ssh目录的权限
.ssh的父目录的权限问题（我的问题就出现在这里）：.ssh的父目录文件权限应该是755，即所属用户的 用户文件 （/home下属的一个用户文件）
执行chmod 755 ~/.ssh
三、安装配置hadoop文件
下载地址：
tar -zxvf hadoop-2.8.1.tar.gz
cd hadoop-2.8.1
修改配置文件
配置文件在hadoop目录下的/etc/hadoop
1.修改core-site.xml 文件
&fs.defaultFS&
&hdfs://localhost:9000&
&hadoop.tmp.dir&
&/Users/chenxun/software/hadoop-2.8.1/temp&
2.修改hadfs-site.xml
默认副本数3，修改为1，dfs.namenode.name.dir指明fsimage存放目录，多个目录用逗号隔开。dfs.datanode.data.dir指定块文件存放目录，多个目录逗号隔开
&dfs.replication&
&dfs.namenode.name.dir&
&file:/Users/chenxun/software/hadoop-2.8.1/tmp/hdfs/name&
&dfs.datanode.data.dir&
&file:/Users/chenxun/software/hadoop-2.8.1/tmp/hdfs/data&
&dfs.namenode.secondary.http-address&
&localhost:9001&
&dfs.webhdfs.enabled&
3.yarn配置
mapred-site.xml
&mapreduce.framework.name&
&mapreduce.admin.user.env&
&HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME&
&yarn.app.mapreduce.am.env&
&HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME&
&mapreduce.application.classpath&
/Users/chenxun/software/hadoop-2.8.1/etc/hadoop,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/common/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/common/lib/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/hdfs/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/hdfs/lib/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/mapreduce/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/mapreduce/lib/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/yarn/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/yarn/lib/*
yarn-site.xml
&yarn.nodemanager.aux-services&
&mapreduce_shuffle&
&yarn.application.classpath&
/Users/chenxun/software/hadoop-2.8.1/etc/hadoop,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/common/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/common/lib/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/hdfs/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/hdfs/lib/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/mapreduce/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/mapreduce/lib/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/yarn/*,
/Users/chenxun/software/hadoop-2.8.1/share/hadoop/yarn/lib/*
四、配置hadoop环境变量，可能需要重新编译native library
vim ~/.bash_profile
export HADOOP_HOME=/Users/chenxun/software/hadoop-2.8.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native:$HADOOP_COMMON_LIB_NATIVE_DIR"
**上面配置基本完成，一般没什么问题了。可以开始运行你的hadoop了，直接看第五步好了，有问题继续往下看。
下面步骤在你运行hadoop的过程可能碰到，如果你碰到了再回头看这，：
在mac可能还要重新编译hadoop的运行用到动态库；这个时候肯能要配置maven环境，根据自己的maven安装路径配置maven环境，再重新编译/lib/native下动态要用到
如果你在运行出现下面的情况就需要重新编译动态库：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable
参考链接：
参考二：Mac下 hadoop-2.7.0编译过程记录
先下载好hadoop源码：hadoop-2.8.1-src
重新编译之前需要安装
和maven以及cmake，自己百度搜索安装即可
protobuf安装方法如下:
1. protobuf 2.5版本的brew安装方法
$ brew search protobuf
protobuf-c
protobuf-swift
homebrew/php/php53-protobuf
homebrew/php/php56-protobuf
homebrew/php/php54-protobuf
homebrew/versions/protobuf250
homebrew/php/php55-protobuf
homebrew/versions/protobuf260
$ brew install homebrew/versions/protobuf250
配置maven环境
export M2_HOME=/Users/chenxun/software/apache-maven-3.5.0
编译动态库过程出现下面的错误可能是zlib没安装
也可能是openssl没设置好，设置openssl的方法如下（我的mac，你根据你自己的openssl安装路径设置）
export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2k
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2k/include
**开始编译native库，命令如下：
mvn package -Pdist,native -DskipTests -Dtar**
将编译出的native library复制到下载的二进制版本的hadoop-2.8.1相应目录中
编译出的native library库的位置为
hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1/lib/native
拷贝到二进制版本的hadoop-2.8.1的目录
hadoop-2.8.1/lib/native
修改/etc/hadoop/hadoop-env.sh配置
export HADOOP_OPTS=”$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=/hadoop-2.6.0/lib/native”
重新启动Hadoop
此时就不会出现本文开头处的那个警告了。
五、运行hadoop
以及hadoop命令简单的介绍
格式化HDFS
hdfs namenode -format
一次启动hadoop所有进程：
start-all.sh
进入hdfs管理页面
进入hadoop进程管理页面
hadoop命令简单介绍：
hdfs dfs -mkdir -p /user/chenxun/input
hadoop fs -ls /user/chenxun/
先自己随便建一个file.txt文件，在文件随便写点东西，如下：
vim file.txt
把这个文件用命令上传你刚才建文件input下面：命令如下：
hdfs dfs -put ./file.txt
用命令查看一下是否成功：如果成功你在input下面看到file.txt文件
hadoop fs -ls /user/chenxun/input
这个时候你测试hadoop提供的wordcount例子：执行下面的语句（如果出现错误不要着急往文章后面看解决方法）
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount /user/chenxun/input/file.txt
运行过程如下
17/10/14 01:55:26 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
17/10/14 01:55:28 INFO input.FileInputFormat: Total input files to process : 1
17/10/14 01:55:28 INFO mapreduce.JobSubmitter: number of splits:1
17/10/14 01:55:28 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_2_0017
17/10/14 01:55:28 INFO impl.YarnClientImpl: Submitted application application_2_0017
17/10/14 01:55:28 INFO mapreduce.Job: The url to track the job: http://chen.local:8088/proxy/application_2_0017/
17/10/14 01:55:28 INFO mapreduce.Job: Running job: job_2_0017
17/10/14 01:55:36 INFO mapreduce.Job: Job job_2_0017 running in uber mode : false
17/10/14 01:55:36 INFO mapreduce.Job:
map 0% reduce 0%
17/10/14 01:55:41 INFO mapreduce.Job:
map 100% reduce 0%
17/10/14 01:55:47 INFO mapreduce.Job:
map 100% reduce 100%
17/10/14 01:55:47 INFO mapreduce.Job: Job job_2_0017 completed successfully
17/10/14 01:55:48 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=44
FILE: Number of bytes written=276523
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=141
HDFS: Number of bytes written=26
HDFS: Number of read operations=6
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Launched map tasks=1
Launched reduce tasks=1
Data-local map tasks=1
Total time spent by all maps in occupied slots (ms)=3032
Total time spent by all reduces in occupied slots (ms)=3133
Total time spent by all map tasks (ms)=3032
Total time spent by all reduce tasks (ms)=3133
Total vcore-milliseconds taken by all map tasks=3032
Total vcore-milliseconds taken by all reduce tasks=3133
Total megabyte-milliseconds taken by all map tasks=3104768
Total megabyte-milliseconds taken by all reduce tasks=3208192
Map-Reduce Framework
Map input records=4
Map output records=4
Map output bytes=43
Map output materialized bytes=44
Input split bytes=114
Combine input records=4
Combine output records=3
Reduce input groups=3
Reduce shuffle bytes=44
Reduce input records=3
Reduce output records=3
Spilled Records=6
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=134
CPU time spent (ms)=0
Physical memory (bytes) snapshot=0
Virtual memory (bytes) snapshot=0
Total committed heap usage (bytes)=
Shuffle Errors
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=27
File Output Format Counters
Bytes Written=26
再执行看看执行结果：
hadoop fs -ls /user/chenxun/output
这时候你看到：
Found 2 items
-rw-r--r--
1 chenxun supergroup
0 2017-10-14 01:55 /user/chenxun/output/_SUCCESS
-rw-r--r--
1 chenxun supergroup
26 2017-10-14 01:55 /user/chenxun/output/part-r-00000
接下来真正看一下你的单词统计结果：
hadoop fs -cat
/user/chenxun/output/part-r-00000
因为我的file.txt文件内容是
[chenxun@chen.local&11:13&~/software/hadoop-2.8.1]$cat file.txt
所有统计结果如下：
Exit code: 127 Stack trace: ExitCodeException exitCode=127: 的错误解决方法如下：
六、如果你在第五步执行过程出现错误：Exit code: 127 Stack trace: ExitCodeException exitCode=127: 不要着急这里了解决方法：
今天在Mac配置伪分布式环境。部署完毕后，运行MapReduce程序，程序运行刚开始没有问题， 但是到启动Map Task时，就报错误，报exitCode: 127错误。
错误日志如下：
15/04/06 00:08:01 INFO mapreduce.Job: Job job_6_0002 failed with state FAILED due to: Application application_6_0002 failed 2 times due to AM Container for appattempt_6_ exited with
exitCode: 127 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException:
org.apache.hadoop.util.Shell$ExitCodeException:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:505)
at org.apache.hadoop.util.Shell.run(Shell.java:418)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650)
解决办法：
1 从错误日志上看应该是某个Shell命令在Mac上没有找到。
2 查看每个程序的日志：hadoop-2.3.0/logs/userlogs/application_9_0002/container_9_001中的错误日志：
/bin/bash: /bin/java: No such file or directory
可以看到：/bin/java 的命令没有找到。
建立一个软链接，链接到java程序即可。
上文中的日志文件和异常中的文件名对应不上，这个是我编写时的问题， 实际可以根据日志中的文件名找到具体的错误文件。但是整个流程，是这个。
是因为Hadoop默认检查/bin/java路径下的java，可是Mac的Java不是装这里的，它的路径是/usr/bin/java。你不信啊，那你输入命令$ /usr/bin/java -version, 看看是不是会出现类似以下的信息：
Java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java Hotspot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
如果对了的话，那么下一步就是在/bin/java创建一个快捷方式，让Hadoop读到/usr/bin/java里的信息：
$ sudo ln -s /usr/bin/java /bin/java
再输入命令$ /bin/java -version验证一遍，显示：
Java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java Hotspot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
这个时候你在执行sudo ln -s /usr/bin/java /bin/java出现问题：ln: /bin/java: Operation not permitted
这是mac系统的原因不是你的错。
这是因为苹果在OS X 10.11中引入的SIP特性使得即使加了sudo（也就是具有root权限）也无法修改系统级的目录，其中就包括了/usr/bin。要解决这个问题有两种做法：一种是比较不安全的就是关闭SIP，也就是rootless特性；另一种是将本要链接到/usr/bin下的改链接到/usr/local/bin下就好了。
废话不多说上解决方法：
重启按住 Command+R，进入恢复模式，打开Terminal
csrutil disable
重启即可。如果要恢复默认，最好这么做，那么
csrutil enable
参考链接：
hadoop学习之一:mac下hadoop安装
MAC下Hadoop环境配置（模拟分布式模式）
mac下hadoop 2.6.0编译native library
Mac 安装 Hadoop 3.x
mac下Hadoop、HDFS、Spark环境的安装和搭建
mac OS 10.11.6 安装 Hadoop 2.7.3
MAC OS X EI Capiton下Hadoop的详细安装
mac上安装hadoop
Mac系统下, hadoop 2.6.2 完全分布式 配置
Mac hadoop 安装及配置(伪分布模式)
没有更多推荐了，
(window.slotbydup=window.slotbydup || []).push({
id: "5865575",
container: s,
size: "300,250",
display: "inlay-fix"hadoop学习之一:mac下hadoop安装
这篇文章主要介绍了mac下hadoop独立模式的安装，为后面学习MapReduce做准备。因为一直挂着代理，所以不保证下面的链接在墙内可以打开
前置知识点
&学校图书馆借了一两本书阅览了一下，大致了解了hadoop、hdfs、mapreduce的一些基本概念以及1.x的架构(没错1.x并没有涉及到YARN)，之后打算跟着走，其实官方的文档很有意义，起码借鉴之前学习openflow和android的经验，从document入门基础都不坏太差。
先说下设备，一台mac，系统是OS X 10.11.1，所以打算直接在mac os下搭建环境。其实感觉mac和linux下都差不多的，步骤什么的，跟着走就是了。
然后是事先要求的软件：
jdk事先装好，这个没什么好说的，
ssh，这个的话mac系统其实是默认装了的，只是默认关闭，所以在系统偏好中打开共享勾选远程登录即可。
Homebrew,Linux下可以使用apt-get快速安装，忽略包依赖等问题，但是在mac os下可没有apt-get给你使用，这时候，你就需要Homebrew帮忙，它可以方便地安装、卸载、搜索软件。
现在该安装hadoop了，这里不用按照官网上的链接点击下载，直接在终端通过Homebrew命令就ok了。
$ brew install hadoop
现在假设已经打印了安装成功的信息，注意终端会打印这几个东西:
In Hadoop's config file:
/usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop/hadoop-env.sh,
/usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop/mapred-env.sh and
/usr/local/Cellar/hadoop/2.7.2/libexec/etc/hadoop/yarn-env.sh
$JAVA_HOME has been set to be the output of:
/usr/libexec/java_home
& 根据名字应该可以大致推测这应该是一些环境配置文件，可能由于版本变化，这个目录也会不同，但无论如何还是应该注意一下。再看看官网上，这时候它要求我们配置etc/hadoop/hadoop-env.sh中的JAVA_HOME路径，那根据之前安装成功打印的信息(第一个)，可以通过前往文件夹的方式定位到hadoop-env.sh中去。在第一行代码下中添加第二条配置代码：
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.7.0_79.jdk/Contents/Home"
注意hadoopyou三种运行模式：独立模式(Standalone)、伪分布模式(Pseudo-Distributed)、分布式(Fully-Distributed),由于当前是急于体验MapReduce，所以先配置独立模式，这也是默认的模式，另外两个模式需要其他的配置。
测试,这里肯定是我没有设置类似于环境变量什么的，首先是类似于一个打印文档的命令，官方给的是
$ bin/hadoop
然而运行回发现打印“没有这个目录”之类的信息，这个时候直觉告诉我就是目录信息不对，我的解决方法是，找到绝对路径信息:
$ /usr/local/Cellar/hadoop/2.7.2/bin/hadoop
当然也可以设置一个环境变量，这样写的内容就少很多
$ export HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.2/
这样果然可以得到文档信息，说明是安装完成了，后面官方又给了一个应该是MapReduce的操作，可以试着敲一下，不过注意终端打印说找不到路径或者文件就要思考是不是目录没有写全。
Hadoop - Mac OSX下配置和启动hadoop以及常见错误解决
mac上安装hadoop
mac下Hadoop、HDFS、Spark环境的安装和搭建
Mac下安装Hadoop 3.0 （防坑）
MAC下hadoop2.7.3安装
mac sierra系统本地搭建hadoop 3.0.0
MAC下Hadoop环境配置（模拟分布式模式）
mac下hadoop环境的搭建以及碰到的坑点
Mac环境下搭建Hadoop开发框架
没有更多推荐了，
(window.slotbydup=window.slotbydup || []).push({
id: "5865575",
container: s,
size: "300,250",
display: "inlay-fix"Mac环境下Hadoop的安装与配置
今天，由于云计算实验需要，同时对云计算也有很大兴趣，就在自己的Mac上安装了Hadoop。
我来简短介绍一下：
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。
好的，了解了Hadoop，接下来，就直接进入正题
1. 安装环境
这是我Mac的系统版本：
macOS Sierra
版本10.12.3
之后会运行jar包，所以肯定需要java环境打开terminal：敲入命令
java -version
我的终端提示如下
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
说明我的电脑中已经装好了jdk，如果提示没装，请自行谷歌下载安装，此文不再一一叙述。
3. Mac OS X ssh设置
Mac下自带ssh，所以不需要安装ssh了。可以通过如下命令验证
hadoop-1.2.1 which ssh
/usr/bin/ssh
hadoop-1.2.1 which sshd
/usr/sbin/sshd
hadoop-1.2.1 which ssh-keygen
/usr/bin/ssh-keygen
hadoop-1.2.1
输入命令ssh localhost，可能遇到如下问题
ssh: connect to host localhost port 22: Connection refused
原因是没打开远程登录，进入系统设置-&共享-&远程登录打开就好，这时你再ssh localhost一下
hadoop-1.2.1 ssh localhost
Last login: Tue Apr 18 09:45:33 2017 from ::1
期间你要输入你电脑的密码。
，具体我也没研究，不过依葫芦画瓢应该可行，有兴趣的可以试一下。
4. Hadoop1.2.1
选择如下版本
hadoop-1.2.1.tar.gz
下载完之后，我把它解压到了我的Documents即文稿目录下。
5. 设置环境变量
终端输入vim ~/.bash_profile 这里会问你是否编辑，有个安全提示，按E即可编辑。在这里添加环境变量如下：
21 # Hadoop
22 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home
23 export JRE_HOME=$JAVA_HOME/jre
24 export HADOOP_HOME=/Users/Apple/Documents/hadoop-1.2.1
25 export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
26 export HADOOP_HOME_WARN_SUPPRESS=1
27 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home
export JRE_HOME=$JAVA_HOME/jre
是java的系统环境变量。
export HADOOP_HOME=/Users/Apple/Documents/hadoop-1.2.1
是配置Hadoop的系统环境变量
export HADOOP_HOME_WARN_SUPPRESS=1
是防止出现：Warning: $HADOOP_HOME is deprecated的警告错误。 上述环境变量增加完成后，退回到终端，输入：
source ~/.bash_profile
使得环境变量设置生效！
6、配置hadoop-env.sh
进入刚解压的Documents目录下的Hadoop1.2.1，然后进入conf文件夹,执行vim hadoop-env.sh，对其进行如下配置
8 # The java implementation to use.
9 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_101.jdk/Contents/Home
10 #export JAVA_HOME=/usr/lib/j2sdk1.5-sun
12 # Extra Java CLASSPATH elements.
13 # export HADOOP_CLASSPATH=
15 # The maximum amount of heap to use, in MB. Default is 1000.
16 export HADOOP_HEAPSIZE=2000
18 # Extra Java runtime options.
Empty by default.
19 export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"
20 # export HADOOP_OPTS=-server
7、接着配置conf文件夹下的core-site.xml
core-site.xml指定了NameNode的主机名与端口
&?xml version="1.0"?&
&?xml-stylesheet type="text/xsl" href="configuration.xsl"?&
&!-- Put site-specific property overrides in this file. --&
&configuration&
&property&
&name&hadoop.tmp.dir&/name&
&value&hdfs://localhost:9000&/value&
&description&A base for other temporary directories.&/description&
&/property&
&property&
&name&fs.default.name&/name&
&value&hdfs://localhost:8020&/value&
&/property&
&/configuration&
8、配置hdfs-site.xml
hdfs-site.xml指定了HDFS的默认参数副本数，因为仅运行在一个节点上，所以这里的副本数为1
&?xml version="1.0"?&
&?xml-stylesheet type="text/xsl" href="configuration.xsl"?&
&!-- Put site-specific property overrides in this file. --&
&configuration&
&property&
&name&dfs.replication&/name&
&value&1&/value&
&/property&
&/configuration&
9.配置mapred-site.xml
mapred-site.xml指定了JobTracker的主机名与端口
&?xml version="1.0"?&
&?xml-stylesheet type="text/xsl" href="configuration.xsl"?&
&!-- Put site-specific property overrides in this file. --&
&configuration&
&property&
&name&mapred.job.tracker&/name&
&value&hdfs://localhost:9001&/value&
&/property&
&property&
&name&mapred.tasktracker.map.tasks.maximum&/name&
&value&2&/value&
&/property&
&property&
&name&mapred.tasktracker.reduce.tasks.maximum&/name&
&value&2&/value&
&/property&
&/configuration&
至此，在终端输入hadoop，就会出现如下
Usage: hadoop [--config confdir] COMMAND
where COMMAND is one of:
namenode -format
format the DFS filesystem
secondarynamenode
run the DFS secondary namenode
run the DFS namenode
run a DFS datanode
run a DFS admin client
run a Map-Reduce admin client
run a DFS filesystem checking utility
run a generic filesystem user client
run a cluster balancing utility
apply the offline fsimage viewer to an fsimage
fetch a delegation token from the NameNode
jobtracker
run the MapReduce job Tracker node
run a Pipes job
tasktracker
run a MapReduce task Tracker node
historyserver
run job history servers as a standalone daemon
manipulate MapReduce jobs
get information regarding JobQueues
print the version
run a jar file
distcp &srcurl& &desturl& copy file or directories recursively
distcp2 &srcurl& &desturl& DistCp version 2
archive -archiveName NAME -p &parent path& &src&* &dest& create a hadoop archive
prints the class path needed to get the
Hadoop jar and the required libraries
get/set the log level for each daemon
run the class named CLASSNAME
Most commands print help when invoked w/o parameters.
表示已经可以找到Hadoop的执行程序。
在程序执行前，对Namenode执行格式化操作hadoop namenode -format，出现如下图结果：
~ hadoop namenode -format
17/04/18 11:16:33 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:
host = AppledeMacBook-Air-2.local/172.19.167.21
STARTUP_MSG:
args = [-format]
STARTUP_MSG:
version = 1.2.1
STARTUP_MSG:
build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:
java = 1.8.0_101
************************************************************/
17/04/18 11:16:33 INFO util.GSet: Computing capacity for map BlocksMap
17/04/18 11:16:33 INFO util.GSet: VM type
17/04/18 11:16:33 INFO util.GSet: 2.0% max memory =
17/04/18 11:16:33 INFO util.GSet: capacity
= 2^22 = 4194304 entries
17/04/18 11:16:33 INFO util.GSet: recommended=4194304, actual=4194304
17/04/18 11:16:33 INFO namenode.FSNamesystem: fsOwner=Apple
17/04/18 11:16:33 INFO namenode.FSNamesystem: supergroup=supergroup
17/04/18 11:16:33 INFO namenode.FSNamesystem: isPermissionEnabled=true
17/04/18 11:16:33 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
17/04/18 11:16:33 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
17/04/18 11:16:33 INFO namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
17/04/18 11:16:33 INFO namenode.NameNode: Caching file names occuring more than 10 times
17/04/18 11:16:34 INFO common.Storage: Image file hdfs:/localhost:9000/dfs/name/current/fsimage of size 111 bytes saved in 0 seconds.
17/04/18 11:16:34 INFO namenode.FSEditLog: closing edit log: position=4, editlog=hdfs:/localhost:9000/dfs/name/current/edits
17/04/18 11:16:34 INFO namenode.FSEditLog: close success: truncate to 4, editlog=hdfs:/localhost:9000/dfs/name/current/edits
17/04/18 11:16:34 INFO common.Storage: Storage directory hdfs:/localhost:9000/dfs/name has been successfully formatted.
17/04/18 11:16:34 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at AppledeMacBook-Air-2.local/172.19.167.21
************************************************************/
表示HDFS已经安装成功。
执行start-all.sh启动，期间输入了三次密码= =
~ start-all.sh
namenode running as process 61005. Stop it first.
localhost: starting datanode, logging to /Users/Apple/Documents/hadoop-1.2.1/libexec/../logs/hadoop-Apple-datanode-AppledeMacBook-Air-2.local.out
localhost: secondarynamenode running as process 61265. Stop it first.
starting jobtracker, logging to /Users/Apple/Documents/hadoop-1.2.1/libexec/../logs/hadoop-Apple-jobtracker-AppledeMacBook-Air-2.local.out
localhost: starting tasktracker, logging to /Users/Apple/Documents/hadoop-1.2.1/libexec/../logs/hadoop-Apple-tasktracker-AppledeMacBook-Air-2.local.out
这样说明启动成功
61265 SecondaryNameNode
61005 NameNode
浏览器输入网址就能看到Hadoop的界面了：
NameNode 'localhost:8020'
Tue Apr 18 10:24:19 CST 2017
1.2.1, r1503152
Mon Jul 22 15:23:09 PDT 2013 by mattf
There are no upgrades in progress.
Browse the filesystem
Namenode Logs
Cluster Summary
1 files and directories, 0 blocks = 1 total. Heap Size is 77.5 MB / 1.74 GB (4%)
Configured Capacity
Non DFS Used
DFS Remaining
DFS Remaining%
Live Nodes
Dead Nodes
Decommissioning Nodes
Number of Under-Replicated Blocks
There are no datanodes in the cluster
NameNode Storage:
Storage Directory
hdfs:/localhost:9000/dfs/name
IMAGE_AND_EDITS
This is Apache Hadoop release 1.2.1
至此，Hadoop的安装配置就全部完成了，如有任何疑问或者文章有任何错误，欢迎交流、批评与指正，本文章纯属原创，如需转载，请注明出处，谢谢！联系方式：
0 收藏&&|&&2
分享到微博？
我要该，理由是：
在 SegmentFault，学习技能、解决问题
每个月，我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。}