admin 管理员组文章数量: 887062
2024年2月20日发(作者：比较排序和冒泡排序)
Spark开发环境配置及流程
之前已经将集群配置完成（详见Hadoop2.6.0搭建过程.doc和Spark1.2搭建过程.doc文档），开发环境中的JDK，Scala部分就不介绍了，下面直接介绍我们用的开发工具Interlij IDEA。为什么选择Intellij IDEA？因为它更好的支持Scala项目，目前Spark开发团队使用它作为开发环境。
1.下载
直接到官方网站下载页面下载（/idea/download/）。
有收费的完整版，也有免费的基本版本，收费的网上也有破解方案。
2.解压
解压到/usr/local，这是因为之前的Scala和Spark都放这里，也可以根据自己喜好。
[hadoop@lenovo0 Downloads]$ sudo tar -vxzf -C /usr/local/
改个名字，然后授权给hadoop用户。
[hadoop@lenovo0 local]$ cd /usr/local/
[hadoop@lenovo0 local]$ sudo mv ideaIC-14.1 ideaIC14
[hadoop@lenovo0 local]$ sudo chown -R hadoop:hadoop ideaIC14/
3.启动
在解压的文件夹下有个文件介绍怎么打开应用，还有一些设置信息，大家可以看一看：
通过cat命令可以查看，我只截了一些关键的：
根据提示， 我们直接进入到文件夹bin目录下执行./即可启动：
之后便可以根据UI提示界面创建快捷方式，方便下次启动。
4.在IDEA中安装Scala插件
在IDEA的设置里面，直接搜索“plugins”，在右边的展开中搜索“scala”，点击相应的按钮添加插件即可：
5.配置Spark应用开发环境
这里以SparkPi程序为例子。
5.1创建Scala Project，设置名称，JDK和Scala路径：
5.2选择菜单中的“File”→“project structure”→“Libraries”，然后点击“+”导入。
这个jar包包含Spark的所有依赖包和Spark源码。一开始我们下载的Spark版本是预编译版本的（见《Spark on yarn搭建过程》 ），所以这个包可以在解压的Spark目录下lib目录里找到，假如说下载的没有编译的，需要通过sbt/sbt assembly命令打包。
同样的，假如IDEA不能识别Scala库，也是用这种方法，路径是Scala的安装路径。
5.3现在可以开发Scala程序。右键新建一个scala类，就可以写程序了。我们直接复制SparkPi的代码，这个代码在Spark文件example目录下可以找到源码：
源码实际上是行不通的，要加上我红框标出来的两句话。第一句设置master的ip和端口，第二句调用addJar方法将我们压缩好的jar包提交到Spark集群（压缩方法在后面介绍）。
6.运行Spark程序
像上面我们编写完代码，有两种方法运行我们的程序，一个是IDEA中的run方法，另一个是将我们的程序打包成jar包，在Spark集群上用命令行执行。
在集群上运行Spark应用Jar包：
选择“File”→“Project Structure”→“Artifact”，单机“+”，选择“JAR”→“From
Modules with dependencies”，然后选择main函数和Jar包的输出路径：
在主菜单中选择“Build”→“Build Artifact”编译生成Jar包。
最后到jar包的目录下执行 java -jar 即可。
Run方法：
在IDEA菜单中选择“Run”→“Edit Configurations”出现如下界面：
点左上角的“+”，选择“Application”，在右边的拓展中改一下name，选择Main函数：
然后点击右上角的绿色运行箭头即可：
以上介绍了整个Spark应用开发流程以及如何编译调试程序。
版权声明：本文标题：Spark开发环境配置及流程(Intellij IDEA) 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1708399881h522728.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论