admin 管理员组文章数量: 886992
1.需要安装 Java 环境
2.下载 hadoop
https://archive.apache/dist/hadoop/common/
3.解压 hadoop 压缩包 （如：将下载好的压缩包放在 E:\config 目录下）
进入到 E:\config 下输入 cmd 回车
打开 cmd 后输入 start winrar x -y hadoop-3.2.1.tar.gz 进行解压（正常右键解压会报错）
4.下载 winutils
https://github/cdarlint/winutils
因为 hadoop 默认 Linux 环境，如果在 Windows 上运行 hadoop ，必须下载该文件
将对应版本中的文件放到 hadoop 所在目录下的 bin 文件中，即 E:\config\hadoop-3.2.1\bin 文件下
将 winutils 文件夹中的 hadoop.dll 文件 拷贝一份放到 C:\Windows\System32 目录下
5.配置环境变量
HADOOP_HOME：E:\config\hadoop-3.2.1
Path：%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
6.hadoop 基础配置
在 hadoop 目录下新建 data 文件夹和 tmp 文件夹
在新建的 data 文件夹下新建 datanode 、namenode 文件夹
以下的配置都在 E:\config\hadoop-3.2.1\etc\hadoop 目录下
6.1配置 core-site.xml 文件
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/E:/config/hadoop-3.2.1/tmp</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/config/hadoop-3.2.1/data</value>
</property>
</configuration>
注意路径
6.2配置 hdfs-site.xml 文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/E:/config/hadoop-3.2.1/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/E:/config/hadoop-3.2.1/data/datanode</value>
</property>
</configuration>
6.3配置 mapred-site.xml 文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
6.4配置 yarn-site.xml 文件
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.application.classpath</name>
<value>E:\config\hadoop-3.2.1\etc\hadoop;E:\config\hadoop-3.2.1\share\hadoop\common;E:\config\hadoop-3.2.1\share\hadoop\common\lib\*;E:\config\hadoop-3.2.1\share\hadoop\common\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs;E:\config\hadoop-3.2.1\share\hadoop\hdfs\lib\*;E:\config\hadoop-3.2.1\share\hadoop\hdfs\*;E:\config\hadoop-3.2.1\share\hadoop\yarn;E:\config\hadoop-3.2.1\share\hadoop\yarn\lib\*;E:\config\hadoop-3.2.1\share\hadoop\yarn\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\lib\*;E:\config\hadoop-3.2.1\share\hadoop\mapreduce\*</value>
</property>
</configuration>
注意 yarn.application.classpath 下的 value 值的获取方式
打开 cmd 后，直接输入 yarn classpath 回车，将显示的数据全部复制放到 value 中
7.配置 hadoop-env.cmd 文件(如果启动不报错则可以不配置)
如果 Java 找不到时，修改 JAVA_HOME （如：Java 的安装目录在 D:/Java 目录下）
修改 set JAVA_HOME=D:/Java/jdk1.8.0_191
有事在启动的时候会提示 “错误：找不到或无法加载主机 xxx”
这时需要修改该文件下的 set HADOOP_IDENT_STRING 的值（如我的计算机的名称为 WIN 10 ）
则修改为 ：set HADOOP_IDENT_STRING=“WIN 10”
8.启动 hadoop
进入 sbin 文件夹中 E:\config\hadoop-3.2.1\sbin
双击 start-all.cmd 启动
这时会弹出四个黑框
如果启动不报错，则启动成功
9.通过http://127.0.0.1:8088/即可查看集群所有节点状态
访问http://localhost:9870/即可查看文件管理页面
版权声明：本文标题：Windows安装 hadoop 环境 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1733296599h1572572.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论