admin 管理员组

文章数量: 887016

如何在windows系统下安装hadoop

问题描述

今天晚上组会师兄要求提前在自己的电脑上配置好几个软件环境，其中一个就是学习大数据必不可少的软件hadoop，之前在b站学习发现一般都是在linux中配置hadoop，但是今天我看到师兄截图中的环境变量明显是在windows系统中配置的，所以今天下午特地研究了一下windows系统中hadoop的安装流程。

详细流程

  1. 首先原生hadoop是没有专门针对Windows的安装包的，所以我们需要借用linux中hadoop的安装包来实现安装，首先我们需要下载两个软件。

    • hadoop安装包

      版本可以根据自己的喜好选择，在这里我选择的是hadoop2.7.7。

      不想去官网的话，直接可以从清华的镜像下载。

      https://mirrors.tuna.tsinghua.edu/apache/hadoop/common/

      下载 hadoop-2.7.7.tar.gz

    • hadooponwindows-master.zip

      链接：https://pan.baidu/s/1TRKQd9Qt7-as7OSVNfDVtA
      提取码：opns
      复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V4的分享

  2. 确认JAVA_HOME配置正确

    如果之前java正常使用的话这一步应该没有任何问题。

    还有path中也需要正确配置bin目录

  3. 使用编辑器打开{你的hadoop文件夹}/etc/hadoop/hadoop-env.cmd
    修改JAVA_HOME的路径
    把set JAVA_HOME改为jdk的位置(也就是JAVA_HOME的路径)
    注意其中PROGRA~1代表Program Files
    set JAVA_HOME=E:\PROGRA~1\Java\jdk1.8.0_171

  4. 在haddoop的根目录下新建几个文件夹：

    • tmp
    • data
      • datanode
      • namenode

  5. 打开 hadoop-2.7.7/etc/hadoop/hdfs-site.xml修改其中的两个文件路径

    注意文件路径的格式正确！

  6. 拷贝hadoop.dll文件到C:\Windows\System32

    不然在window平台使用MapReduce测试时报错

  7. 以管理员身份打开命令提示符
    输入hdfs namenode -format,看到seccessfully就说明format成功

  8. 转到Hadoop-2.7.3\sbin文件下

    输入start-all，启动hadoop集群

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZiwQxhqe-1603441679276)(C:\Users\12452\Desktop\我的笔记\我已经解决的问题\software_setup\window下hadoop的安装\images\image-20201023162100447.png)]

    然后就会出现下面四个窗口：

    输入jps - 可以查看运行的所有节点

  9. 测试hadoop是否开启成功

    访问http://localhost:50070,访问hadoop的web界面

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TnuO6TZc-1603441679283)(http://www.shrugging/markdownimages/image-20201023162359586.png)]

    访问http://localhost:8088,访问yarn的web界面，有就表明已经成功

  10. 关闭所有的节点

本文标签： 如何在 系统 Windows Hadoop

版权声明：本文标题：如何在windows系统下安装hadoop 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1726820003h1034176.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。