admin 管理员组

文章数量: 887021


2024年2月20日发(作者：织梦下载远程图片)

1，环境 window7 jdk1.8.0_91 Interllij IDEA 2016.1.3（可以在scala官网上链接下载 /download/）2，安装 jdk 及 scala，并配置环境变量。下载JDK：到Java官网（/technetwork/java/javase/downloads/）建议安装JDK6以上版本。l 配置JAVA_HOME环境变量为JDK的安装目录，如下图所示：

l 配置CLASSPATH环境变量为“.;%JAVA_HOME%/lib;%JAVA_HOME%/lib/”，如下图所示：

l 在Path环境变量最后追加配置“%JAVA_HOME%/bin”，如下图所示：

验证JDK是否安装成功：打开控制台，输入“java -version”命令，如果出现Java版本及版权相关信息，说明JDK安装成功。如下图所示： scala安装，验证scala安装是否成功 在控制台输入“scala -version"，如果出现scala版本及版权信息，说明scala安装成功。

3，Intellij IDEA 2016.1.3安装及配置

点击Scala的Install安装

点击“Create New Project”进入主页面，在菜单栏File->，选择Scala

点击next进入如下界面，输入工程名，并选择相应的SDK，选择jdk及scala安装的所在目录即可。工程建好，选择菜单File/Project Structure/Libraries/ 导入相应的Spark及Scala的jar包。

至此，Interllij IDEA的Spark开发环境就搭建起来了。4，在Interllij IDEA下开发Spark应用程序。在创建的工程src选项的文件夹下再创建两个文件夹，文件夹名为main和scala。在src/main/scala下创建一个名Test的 Scala Class 并选择为Object。再把Spark源码的examples包中的实例复制，修改代码中的SparkConf实例化时，Master及AppName的值：val conf = new SparkConf().setMaster("local").setAppName("Spark Pi");

右键Run，可以在控制台上显示出结果：


本文标签： 安装 文件夹 工程

版权声明：本文标题：Intellij IDEA 搭建Spark开发环境 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/free/1708399735h522722.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。