代码拉取完成,页面将自动刷新
前置条件:安装和配置JDK1.8(略)
(windows)
新建系统环境变量 HADOOP_HOME=D:\hadoop\hadoop-2.7.3
修改path,增加 %HADOOP_HOME%\bin
(mac)
vim ~/.bash_profile
export HADOOP_HOME=~/Dev/hadoop/hadoop-2.7.3
export path=$path:$HADOOP_HOME/bin
mkdir %HADOOP_HOME%\home
mkdir %HADOOP_HOME%\home\tmp
mkdir %HADOOP_HOME%\home\name
mkdir %HADOOP_HOME%\home\data
<!-- core-site.xml -->
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/D:/_Dev/server/hadoop/hadoop-2.7.3/home/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/D:/_Dev/server/hadoop/hadoop-2.7.3/home/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
<!-- hdfs-site.xml -->
<configuration>
<!-- 这个参数设置为1,因为是单机版hadoop -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/D:/_Dev/server/hadoop/hadoop-2.7.3/home/data</value>
</property>
</configuration>
<!--mapred-site.xml -->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
<!-- yarn-site.xml -->
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
windows配置,指定 JAVA_HOME 的安装目录,不能有空格。(Program Files 用 PROGRA~1 代替)
set JAVA_HOME=D:\PROGRA~1\Java\jdk1.8.0
mac配置
export HADOOP_HEAPSIZE=2000
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.library.path=$HADOOP_HOME/lib/native"
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。