admin 管理员组

文章数量: 887016

文章目录

    • 前言
    • 基础环境
      • 下载hadoop安装包
      • 下载hadoop在windows中的依赖
      • 配置环境变量
    • Hadoop hdfs搭建
      • 创建hadfs数据目录
      • 修改JAVA依赖
      • 修改配置文件
      • 初始化hdfs namenode
      • 启动hdfs

前言

在大数据开发领域中，不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上，但是作为一个资深搬砖人，我们本地环境也需要一个开发hadoop的开发环境。那么，今天就安排一个在windows上搭建一个hadoop环境。
docker部署hadoop请移步

基础环境

下载hadoop安装包

http://archive.apache/dist/hadoop/core/hadoop-3.3.2/

解压。

下载hadoop在windows中的依赖

https://github/cdarlint/winutils

下载完成之后，解压，将3.2.2目录下的所有文件替换hadoop的bin目录下的文件：

并将hadoop.dll 文件复制到C:\Windows\System32 目录：

配置环境变量

HADOOP_HOME= D:\hadoop-3.2.2
Path中添加 %HADOOP_HOME%\bin

cmd输入 hadoop version

表示基础环境配置成功。

如果需要部署本地hadoop环境（HDFS）需要继续往下操作。

Hadoop hdfs搭建

创建hadfs数据目录

在hadoop-3.2.2目录下创建data目录
data目录下创建namenode和datanode存储目录
data\namenode
data\datanode

修改JAVA依赖

进入目录 etc\hadoop
修改hadoop-env.cmd
set JAVA_HOME=C:\Java\jdk1.8.0_271

修改配置文件

1、etc\hadoop目录，修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>D:\\hadoop-3.2.2\\data\\namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>D:\\hadoop-3.2.2\\data\\datanode</value>
    </property>
</configuration>

2、etc\hadoop目录，修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

初始化hdfs namenode

进入hadoop-3.2.2\bin目录，以管理员身份打开“命令提示符“
输入 hdfs namenode -format
看到seccessfully就说明format成功。如下图所示：

启动hdfs

进入hadoop-3.2.2\sbin目录
输入start-dfs.cmd，启动hdfs。
出现以下namenode和datanode窗口

浏览器访问：http://127.0.0.1:9870/

至此，windows上的hadoop环境搭建完成，包含基础环境变量和HDFS。

本文标签： 步骤 环境 Hadoop Windows

版权声明：本文标题：【hadoop】windows上hadoop环境的搭建步骤 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1726368030h946130.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。