HIVE学习系列——windows Hadoop安装（上）

admin 管理员组

文章数量: 886993

文章目录

• 整体流程概览
• jre环境
• • jre安装
  • jre环境变量配置
• Hadoop安装与配置
• • 官网下载步骤
  • 清华镜像下载步骤
  • Hadooponwindows下载
  • 配置系统变量
  • hadoop初始文件配置
  • • hadoop.dll文件复制
    • 配置文件修改
• 格式化HDFS
• 相关服务开启
• • 服务开启过程中遇到的问题
  • 开启服务后的验证

整体流程概览

系统：windows10
Jre8 => hadoop安装与配置 => HDFS格式化 => 开启服务
前排提示，HIVE整体配置篇幅较长，可收藏后慢慢操作。
大佬们有相关编写建议也可以多多指导！

• 下篇地址
• 周末上传安装过程中使用的各种压缩包、安装包

jre环境

jre安装

Jre8官网

1. 打开官网，选择windows64位的安装包即可

Orcal官网的下载需要账号登陆，邮箱注册即可，全程无收费点。

2. 按照提示直接安装

这里位置可以自定义一下，安装位置要牢记

3. 安装过程中可能会提示程序占用，并给出PID，Ctrl+Alt+Delete调出任务管理器，先后选择性能、资源监视器

4. 在资源监视器中搜索PID，找到相应进程后右击，选择结束进程即可（点击PID排序后更好找一些，CPU中找不到时切换至内存、磁盘即可）

5. 处理掉占用的进程后会再选一次安装位置，这里个人原因，选择安装在了指定目录下

文件夹jre为步骤2中选择的位置，文件夹java为第二次选择的位置

jre环境变量配置

1. 右击此电脑选择属性，在右边找到高级系统设置

2. 依次点击环境变量、新建，输入变量名JAVA_HOME，点击浏览目录，选择jre安装的位置

3. 点击环境变量，在系统变量中找到Path并双击，点击新建，输入%JAVA_HOME%\bin

4. 测试jre，在cmd中输入java -version与javac进行测试

Hadoop安装与配置

官网下载步骤

Hadoop官网

1. 点击Download，进入下载界面

2. 选择Binary download下的最新版本即可
   Source Download表示源代码版，需要编译后使用
   Binary Download表示可执行版，直接解压使用

3. 点击该条链接进行压缩包下载，结果如图所示：

4. 下载完成后解压到指定目录即可，解压位置要牢记
   这里需要以管理员方式运行
   windows中管理员方式解压文件

清华镜像下载步骤

Hadoop清华镜像

1. 选择需要的版本

2. 选择tar.gz文件

3. 下载完成后解压即可，同样需要以管理员身份运行
   windows中管理员方式解压文件

Hadooponwindows下载

Hadooponwindows
提取码：q1p2
原始Hadooponwindows版本可在github中搜索Hadooponwindows得到

1. 下载后与hadoop压缩包放置于同一目录下

2. 解压hadooponwindows
3. 将hadooponwindows中的bin与etc复制到hadoop目录下（建议提前备份hadoop中的bin与etc文件夹）

配置系统变量

1. 右击此电脑选择属性，在右边找到高级系统设置

2. 依次点击环境变量``新建，输入变量名HADOOP_HOME点击浏览目录，选择hadoop安装的位置

3. 点击环境变量，在系统变量中找到Path并双击，点击新建，输入%HADOOP_HOME%\bin

4. 测试hadoop，在cmd中输入hadoop进行测试，发现报错

以文本形式打开对应位置的cmd文件，发现JAVA_HOME配置错误

修正后重新测试

问题解决

hadoop初始文件配置

为方便查看，这里先贴上自己hadoop的路径，也就是之前的解压路径
D:\hive\hadoop\hadoop-3.2.3\
该目录下的内容：

hadoop.dll文件复制

文件路径：D:\hive\hadoop\hadoop-3.2.3\bin\hadoop.dll

目标路径1：D:\hive\hadoop\hadoop-3.2.3\sbin

目标路径2：C:\Windows\System32

配置文件修改

• 来到hadoop路径D:\hive\hadoop\hadoop-3.2.3\下，创建若干文件夹以及文件：
  文件夹1：D:\hive\hadoop\hadoop-3.2.3\data
  文件夹2：D:\hive\hadoop\hadoop-3.2.3\data\dfs
  文件夹3：D:\hive\hadoop\hadoop-3.2.3\data\dfs\datanode
  文件夹4：D:\hive\hadoop\hadoop-3.2.3\data\dfs\namenode
  
• 文件修改
  文件1：D:\hive\hadoop\hadoop-3.2.3\etc\hadoop\hdfs-site.xml

1. 增加http-address字段
2. 修正后两个字段中的路径信息为上一步骤中所创建的信息

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:50070</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hive/hadoop/hadoop-3.2.3/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hive/hadoop/hadoop-3.2.3/data/dfs/datanode</value>
    </property>
</configuration>

文件2：D:\hive\hadoop\hadoop-3.2.3\etc\hadoop\mapred-site.xml

主要是tracker字段的添加

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

如果按照本文所述步骤安装至此，只用修改这2个文件即可，修改完不放心的朋友可以和大佬的这篇文章对应一下，感谢大佬指路

格式化HDFS

在cmd中输入hdfs namenode -format

相关服务开启

以管理员身份运行cmd，切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下，输入start-all.cmd，随后输入jps查看服务启动情况

• 目录位置：
  
• 运行结果：

执行start-all.cmd之后会出现4个新的执行框，其中正确执行的会在窗口标题处增加“- 服务名称”如图中绿色箭头所示，反之如红色箭头所示

此时查看jps运行结果也不难看出，只有3个服务启动成功（最初只有2个服务可以成功启动，此图为部分修正后的结果）

服务开启过程中遇到的问题

同样先贴上自己hadoop的路径，也就是之前的解压路径
D:\hive\hadoop\hadoop-3.2.3\

• 问题1：

java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/collector/TimelineColl

解决方法：
未找到类定义，感谢大佬指路
将D:\hive\hadoop\hadoop-3.2.3\share\hadoop\yarn\timelineservice路径中的hadoop-yarn-server-timelineservice-3.2.3复制到D:\hive\hadoop\hadoop-3.2.3\share\hadoop\yarn即可

• 问题2：

org.apache.hadoop.io.nativeio.NativeIO$POSIX...

解决方法：
hadoop.dll版本不匹配，感谢大佬指路
安装时采用了hadoop==3.2.3，但是hadooponwindows中的hadoop版本为2.0，在大佬提示的git中下载hadoop.dll的3.0版本，之后复制到D:\hive\hadoop\hadoop-3.2.3\bin下即可
Github链接

• 问题3：

Exiting with status 1: java.io.FileNotFoundException: D:\hive\hadoop\hadoop-3.2.3\data\dfs\namenode\current\VERSION (拒绝访问。)

解决方法：
未以管理员方式运行。

开启服务后的验证

• 切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下，输入start-all.cmd，随后输入jps查看服务启动情况

可见所有服务均已正常启动

• 在Chrome地址栏输入http://localhost:50070查看Hadoop状态

• Chrome输入http://localhost:8088查看集群状态

HIVE学习系列——windows Hadoop安装（下）

本文标签： 系列 Hive Hadoop Windows