admin 管理员组文章数量: 887016
用Xshell连接虚拟机
1.安装JDK
目录
1.安装JDK
2.卸载Centos7自带的jdk，安装jdk（版本为1.8）
3.Hadoop（版本为2.7.2）下载与配置环境变量
4.Hadoop配置
5.克隆虚拟机
6.三台虚拟机免密登录
7.格式化
8.将主机的Hadoop拷贝到两台从机上
9.启动集群
（1）关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld（2）.设定开关为关闭状态
vim /etc/sysconfig/selinux2.卸载Centos7自带的jdk，安装jdk（版本为1.8）
（1）查询系统是否以安装jdk
#rpm -qa|grep java
或 #rpm -qa|grep jdk
或 #rpm -qa|grep gcj （2）卸载已安装的jdk
rpm -e --nodeps java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64
（3）验证一下是否还有jdk
pm -qa|grep java
或
java -version
（4）安装jdk8
①在home目录下新建文件夹tools和softwares
②下载Linux版本的jdk并上传到虚拟机/home/tools下，解压缩到softwares目录下
③修改名称
④配置环境变量
vi /etc/profile光标移到最下面，添加环境变量
export JAVA_HOME=/home/softwares/jdk
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HONME/sbin
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
⑤生效profile
source /etc/profile
3.Hadoop（版本为2.7.2）下载与配置环境变量
（1）同jdk一样，先上传到tools目录下，解压缩到softwares目录下并修改名称
（2）配置环境变量，并生效
export JAVA_HOME=/home/softwares/jdk
export HADOOP_HOME=/home/softwares/hadoop
export HADOOP_MAPRED_HOME=/home/softwares/hadoop
export HADOOP_COMMON_HOME=/home/softwares/hadoop
export HADOOP_HDFS_HOME=/home/softwares/hadoop
export HADOOP_YARN_HOME=/home/softwares/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=/home/softwares/hadoop/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.Hadoop配置
（1）用notepad++连接虚拟机，打开设置，选择profile settings
（2）选择add new ,输入虚拟机名称,点击ok,输入名称,IP地址，密码（注意connection type选择SFTP）,点击close
（3）选择该虚拟机，弹出小框，点击是，连接成功
（4）选择/home/softwares/hadoop/etc/hadoop/
(5)修改core-site.xml文件
在notepad++打开该文件，在<configuration>中添加内容（箭头指的是你的虚拟机名称）,记得保存
<property>
<name>fs.defaultFS</name>
<value>hdfs://houmaster:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/softwares/hadoop/tmp/</value>
</property>（6）修改hdfs-site.xml文件
前面的路径为你Hadoop存放的路径
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/softwares/hadoop/hadoop_data/hdfs/namenode</value>
</property>（7）修改mapred-site.xml.template文件
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>（8）修改yarn-site.xml文件
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>(9)修改hadoop-env.sh文件
修改为你自己的路径，保存
（10）修改slaves文件
添加主机名，一台主机两台从机（一会克隆），保存
5.克隆虚拟机
（1）先关闭虚拟机，右击虚拟机，选择管理，选择克隆（注意：克隆的时候要关闭另外机子（另外两台或一台））
（2）点击两次下一页
（3）选择创建完整克隆，点击下一页，修改名称及位置，点击完成
（4）点击新克隆出来的虚拟机，编辑虚拟机设置，点击网络适配器，选中高级
（5）点击新生成MAC地址，点击确定，然后开启此虚拟机
（6）打开设置，IP地址设置
（7）修改IP地址，点击应用，刷新一下网络，ping一下baidu
（8）打开Xshell，连接sparkdata1虚拟机，输入用户名，密码
（9）修改名称及添加IP地址，重启生效
将另一台要克隆的虚拟机IP也添加进去（免密登录），三台机子中都要有三个IP地址
（10）另一克隆虚拟机也是如此
6.三台虚拟机免密登录
(1)免密登录，输入后，四个回车，三台机子都要输入该句话
ssh-keygen -t rsa（2）在三台机子上分布输入这三句话
ssh-copy-id 192.168.75.128
ssh-copy-id 192.168.75.129
ssh-copy-id 192.168.75.130输入后，在输入yes 和密码即可
7.格式化
hdfs namenode -format8.将主机的Hadoop拷贝到两台从机上
scp -r hadoop root@192.168.75.129:/home/softwares/
scp -r hadoop root@192.168.75.130:/home/softwares/9.启动集群
（1）查看主机jps
（2）查看从机jps，启动成功
关闭集群
版权声明：本文标题：克隆虚拟机以及Hadoop集群搭建 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.freenas.com.cn/jishu/1726436816h960378.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论