admin 管理员组文章数量: 887836
一、软件准备
默认java开发环境是安装了的，不会的自己去查找。准备安装软件：scala（spark需要scala环境），spark，hadoop。
二、安装Scala
下载地址：[http://www.scala-lang/download/all.html]
我下载的是2.13.9版本的。点进去后下载如下图文件：
下载好后，点击安装文件直接安装。Scala安装好之后呢，它会自动在环境变量PATH里面配置。我们不需要进行手动配置了。下面就打开cmd输入Scala看下安装后控制台的输出效果。
三、安装hadoop
1.hadoop下载
hadoop我选择的版本是3.1.0，windows安装还需要winutils，下载地址：链接：https://pan.baidu/s/1brUBXJvXlPG7KU4lXDcrZA
提取码：wqd9
里面有两个文件：hadoop-3.1.0.tar.gz，apache-hadoop-3.1.0-winutils-master.zip
2.安装
1.解压文件
解压hadoop-3.1.0.tar.gz，我的hadoop-3.1.0解压后文件夹的路径为E:\hadoop-3.1.0；在解压apache-hadoop-3.1.0-winutils-master.zip文件将bin文件夹复制到E:\hadoop-3.1.0替换该目录下的bin。
2.配置环境变量
在新建系统变量中：变量名填HADOOP_HOME，变量值填hadoop-3.1.0对应的路径（比如我的是E:\hadoop-3.1.0）
顺便可以检查一下JAVA_HOME有没有配置好，后面会用到
然后点击Path变量进行编辑，在最前面加上%HADOOP_HOME%\bin，配置完后如图所示：
3.检查环境变量是否配置成功
配置好环境变量后，win+R 输入cmd打开命令提示符，然后输入hadoop version，按回车，如果出现如图所示版本号，则说明安装成功。我在安装过程中，敲入命令后发现报错：
如果JAVA_HOME环境变量配置也没问题，则说明是错误提示中的配置文件中的JAVA_HOME配置有问题。
该目录下的配置文件中的JAVA_HOME目录是：C:\Program Files\Java\jdk1.8.0_131
因为Program Files中间存在空格，所以出现错误，只需要用PROGRA~1代替Program Files即可。
4.报错的解决方法
1.方法一：修改E:\hadoop-3.1.0\etc\hadoop\hadoop-env.cmd配置文件的JAVA_HOME目录改为：set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_131
2.方法二：把jdk安装到根目录或者不存在空格的目录下即可。
我采用的第一个方法。修改后，在运行命令，检验结果：
四、安装Spark
1.下载
下载地址：https://spark.apache/downloads.html
我下载的是Spark 3.3.0版本。
2.安装
解压下载好的spark-3.3.0-bin-hadoop3.tgz到E:\spark-3.3.0，然后配置一下Path环境变量就可以了
注：解压目录根据自己实际解压目录来。
3.验证
下面我们来验证一下看spark是否能正常启动。 在控制台输入下命令：spark-shell 注意spark-shell之间是没有空格的，千万不要输错了。 情况看图片
至此，windows下搭建spark环境完成。
版权声明：本文标题：windows搭建spark环境 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1735374395h1720161.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论