vmware安装oracle11GRAC

VMware Oracle 11G RAC部署手册

概述和说明

① 1.1 概述

本文档涉及RAC环境准备，DNS效劳器部署以及在redhat6.4 64位系统上安装Oracle 11gR2(11.2.0.4.0) RAC的详细步骤。

② 1.2 本文档涉及的软件版本

操作系统： Oracle Enterprise Linux 6.4

Oracle软件：) Software (64 bit)。

安装前准备工作

2.1 安装redhat 6.4 64位Linux操作系统(安装步骤略)

2.1.1生产数据库网络规划：

Hostname

rac1

rac 1-vip

rac1

rac 1-priv

rac1-scan

rac2 rac 2

Private IP

SCAN IP

Public IP

192.168.3.11

192.168.2.14

192.168.2.11

Eth2

bond0

/etc/hosts Type

Public IP

Virtual IP

IP Address

192.168.2.10

192.168.2.12

Interface

bond0

bond0

rac -vip

rac -priv

rac1 -scan

Virtual IP

Private IP

SCAN-IP

192.168.2.13

192.168.3.11

192.168.2.15

bond0

Eth2

每台机器至少需要分配3个IP地址，系统上配置公网IP、虚拟IP和私网IP即可。Public IP、Virtual IP、SCAN IP必须配置在同一网段，

SCAN IP通过配置DNS效劳器解析，不需要手动在网卡上配置，在安装GRID前，确保SCAN IP不能通。

2.1.2资源规划：

效劳器名

RAC节点1

工程名称

硬件型号

操作系统

效劳器主机名

IP地址(〔Eth0〕)

语言环境

DNS效劳器

时区

安装方式

VMware 12

RAC节点2

VMware12

Redhat (64bit)

rac2

.11

中文/英文

192.168.2.3

中国

安装全部安装包

Root

Redhat (64bit)

rac1

192.168.2.10

系统用户

Oracle

Grid

磁盘阵列柜

型号

openfiler

总容量

5G

资

源大数据文件

20G

小

归档文件

10G

60G〔存储〕+30G本地盘

OCRVOTE

2.1.3数据库安装规划：

资源名称

SCAN IP

service_name

db_name

ORACLE_SID

集群数据库名称

数据库版本

资源规划

rac (1.13、192.168.2.14)

rac

rac

rac

Oracle Database 11g Enterprise Edition Release 11.2.0.4〔64bit〕

数据库BASE目录

数据库HOME目录

数据库监听端口

数据库字符集

数据库系统帐号初始密码

/oracle

/oracle/app/product/

11521

198962

数据库块大小

8192byte

2.1.4 Openfiler 存储安装

Openfiler配置

登陆Openfiler

翻开IE浏览器输入 s://192.168.2.245:446

使用默认的用户名密码进行登陆

User：openfiler

Pass：password

点击System菜单，检查一下IP等设置情况〔也可以点击Configure对IP地址进行配置〕。

在system页面下方配置允许访问iscsi的IP地址。本例填入192.168.1.0网段，类型选择share，添加完成后点击Update。

对磁盘进行操作：

Block Device 物理的磁盘

Physical volume 物理磁盘的分区，是组成volume group的单元

Volume group 由一个或多个物理磁盘分区〔Physical volume〕组成，是组成Logical Volume的单元

RAID array member 用做RAID的一块单独“硬盘〞

注：进行磁盘操作前先删除硬盘分区，或者硬盘有空白分区。

单击“Volumes〞菜单，选择右侧的Block Device。会出显示系统所挂载的硬盘。

点击其中的/dev/sda,进入到磁盘编辑界面，可以看出已经分配磁盘分区信息。

创立一个新的分区，在partition Type处选择physical volume，输入Ending

cylinder值〔此处所有剩余空间划为一个分区〕，点击Create。

把几个硬盘都create，看到partitions又0变成了1

创立卷组：点击右侧的Volume Group，填写volume group名称〔此处为iscsi〕，勾选刚创立的设备/dev/sdb，点击Add volume group。此处没有做RAID，大家根据需求来做RAID

点击右侧的Add volume，创立iSCSI卷，填写Volume Name，输入Volume大小，点击“Create〞。有网友反映创立失败，原因是volume名称里面出现了. _ 这种字符

至此,iSCSI磁盘创立完毕。可点击右侧Management volumes查看。

2.1.5 Linux系统安装包的选择

2.1.6禁用SELINUX配置

[root@rdd etc]# vim /etc/selinux/config

SELINUX=disabled

2.1.7 禁用IPTABLES防火墙

[root@rac1 ~]#service iptables stop

[root@rac1 ~]#service ip6tables stop

[root@rac1 ~]#chkconfig iptables off

[root@rac1 ~]#chkconfig ip6tables off

操作前需要确定NetworkManager 效劳是否已经停止，否那么容易报错。

#service NetworkManager status

显示NetworkManager 已停即可

在/etc/sysconfig/network-scripts/目录下建立ifcfg-bond0文件，文件内容如下：

DEVICE=bond0

USERCTL=no

BOOTPROTO=static

ONBOOT=yes

IPADDR=1 ##根据自己需要，填写需要绑定的ip地址掩码网关

GATEWAY=192.168.2.1

TYPE=Ethernet

分别修改ifcfg-eth1文件，如下：

DEVICE=eth1

ONBOOT=yes

BOOTPROTO=none

MASTER=bond0

SLAVE=yes

USERCTL=no

TYPE=Ethernet

修改ifcfg-eth2文件修改如下：

DEVICE=eth2

ONBOOT=yes

BOOTPROTO=none

MASTER=bond0

SLAVE=yes

USERCTL=no

TYPE=Ethernet

新建/etc/文件，文件内容如下：

alias bond0 bonding

options bond0 miiman=100 mode=1

第一种模式：mode=0 ，即：(balance-rr) Round-robin policy〔平衡抡循环策略〕

特点：传输数据包顺序是依次传输〔即：第1个包走eth0，下一个包就走eth1….一直循环下去，直到最后一个传输完毕〕，此模式提供负载平衡和容错能力；但是我们知道如果一个连接或者会话的数据包从不同的接口发出的话，

中途再经过不同的链路，在客户端很有可能会出现数据包无序到达的问题，而无序到达的数据包需要重新要求被发送，这样网络的吞吐量就会下降

第二种模式：mod=1，即： (active-backup) Active-backup policy〔主-备份策略〕

特点：只有一个设备处于活动状态，当一个宕掉另一个马上由备份转换为主设备。mac地址是外部可见得，从外面看来，bond的MAC地址是唯一的，以防止switch(交换机)发生混乱。此模式只提供了容错能力；由此可见此算法的优点是可以提供高网络连接的可用性，但是它的资源利用率较低，只有一个接口处于工作状态，在有 N 个网络接口的情况下，资源利用率为1/N

设置网卡的工作顺序

然后重启：reboot

效劳器上开个terminal，ping 网关

拔下一根网线看ping数据，确认没问题之后插上该网线连通之后，再拔下另外一根网线，观察双网卡绑定效果。

2.1.8 VNC设置

启动VNC效劳

[root@rac01 ~]# vncserver :1

配置VNC图形桌面环境为KDE或GNOME桌面环境

[root@testdb ~]# vim /root/.vnc/xstartup

#!/bin/sh

# Uncomment the following two lines for normal desktop:

# unset SESSION_MANAGER

# exec /etc/X11/xinit/xinitrc

[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup

[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources

xsetroot -solid grey

vncconfig -iconic &

xterm -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &

twm &

将这个xstartup文件的最后一行修改为“startkde &〞，再重新启动vncserver效劳后就可以登陆到KDE桌面环境

将这个xstartup文件的最后一行修改为“gnome-session &〞，再重新启动vncserver效劳后就可以登陆到GNOME桌面环境

配置多个桌面

[root@testdb ~]# vi /etc/sysconfig/vncservers

VNCSERVERS="1:root 2:oracle"

VNCSERVERARGS[1]="-geometry 1024x768"

VNCSERVERARGS[2]="-geometry 1024x768"

2. 配置 /etc/hosts文件

修改各节点的/etc/hosts配置文件，添加内容如下。

#rac01

192.168.2.10 rac01

192.168.2.12 rac01-vip

192.168.3.10 rac01-priv

#rac02

192.168.2.11 rac02

192.168.2.13 rac02-vip

192.168.3.11 rac02-priv

#scan-ip

192.168.2.14 rac01-scan

192.168.2.15 rac02-scan

2.2配置DNS效劳器，解析SCAN IP

从Oracle 11gR2开始，引入SCAN(Single Client Access Name) IP的概念，相当于在客户端和数据库之间增加一层虚拟的网络效劳层，即是SCAN IP和SCAP IP Listener。在客户端的配置文件中，只需要配置SCAN IP的配置信息即可，客户端通过SCAN IP、SCAN IP Listener来访问数据库。同之前各版本的RAC相比，使用SCAN IP的好处就是，当后台RAC数据库添加、删除节点时，客户端配置信息无需修改。可以通过配置DNS效劳器或GNS来配置SCAN，我们这里通过配置DNS解析SCAN IP。

2.2.1 配置DNS效劳器

选择IP地址为192.168.2.3效劳器来配置DNS效劳器配置。

① 安装DNS软件包：

rpm –qa | grep bind*

列出如下rpm包：

bind-*

bind-utils-*

bind-chroot-*

bind-dyndb-ldap-*

bind-libs-*

② 修改/etc/，先备份该文件，修改后的该内容如下：

[root@rac etc]# vi

options {

listen-on port 53 { any; };

listen-on-v6 port 53 { any; };

directory "/var/named";

dump-file "/var/named/data/cache_";

statistics-file "/var/named/data/named_";

memstatistics-file "/var/named/data/named_mem_";

#将最后一行include "/etc/";注释掉

include "/etc/";

//include "/etc/";

allow-query { any; };

recursion yes;

说明：为简单起见，将该文件中的127.0.0.1、localhost全部修改成any，且修改时，需要注意左右两边留空格。修改局部在上述配置文件中以红色标注。

修改/etc/named

zone "." IN {

type hint;

// file "";

file "/dev/null";

};

zone "rac " IN {

type master;

file "rac .zone";

allow-update { none; };

};

zone "" IN {

type master;

file "";

allow-update { none; };

};

说明：反向zone文件，正向zone文件.zone。

创立正向zone 反向zone

[root@dnsntp /]# cd /etc/named

[root@dnsntp named]# cd /var/named/

正向解析数据库文件rac .zone内容如下：

$TTL 1D

@

IN SOA @ . (

0 ; serial

1D ; refresh

1H ; retry

1W ; expire

3H ) ; minimum

IN NS rac .

反向解析数据库 文件内容如下：

$TTL 1D

@

IN SOA @ . (

0 ; serial

1D ; refresh

1H ; retry

1W ; expire

3H ) ; minimum

IN NS rac .

10 IN PTR .

11 IN PTR .

12 IN PTR .

13 IN PTR .

12 IN PTR .

13 IN PTR .

14 IN PTR .

15 IN PTR .

14 IN PTR .

15 IN PTR .

首先，在DNS效劳器192.168.2.3上启动DNS效劳：

[root@rdd named]# /etc/init.d/named status

[root@rdd named]# /etc/init.d/named start

然后，分别在RAC节点rac01和rac02的/etc/配置文件中添加下述配置信息：

search localdomain

nameserver 1

最后，测试地址解析是否成功？

Server:

Address:

Server:

name = .

192.168.2.3#53

Address:

Server:

Address:

Server:

Address:

Server:

Address:

192.168.2.3#53

name = .

192.168.2.3#53

name = .

name = .

192.168.2.3#53

name = .

name = .

192.168.2.3#53

name = .

name = .

name = .

Server:

Address:

Server:

Address:

Name:

Server:

Address:

Name:

Server:

Address:

192.168.2.3#53

192.168.2.3#53

192.168.2.3#53

name = .

name = .

name = .

192.168.2.3#53

Name:

Server:

Address:

Name:

Server:

Address:

Name:

Name:

Server:

Address:

Name:

192.168.2.3#53

192.168.2.3#53

192.168.2.3#53

Name:

Server:

Address:

Name:

Server:

Address:

Name:

192.168.2.3#53

192.168.2.3#53

至此， DNS效劳器解析SCAN IP已经成功！

2.3 建用户、改口令、修改用户配置文件

配置11gR2 RAC需要安装Oracle Grid Infrastructure软件、Oracle数据库软件，其中Grid软件等同于Oracle 10g的Clusterware集群件。Oracle建议以不同的用户分别安装Grid Infrastructure软件、Oracle数据库软件，我们这里以grid用户安装Grid Infrastructure，oracle用户安装Oracle数据库软件。并且grid、oracle用户需要属于不同的用户组。在配置RAC时，还要求这两个用户在RAC的不同节点上uid、gid要一致。用户、组的对应信息见下表：

Group Name Group ID Group Info Oracle User(1100) Grid User(1101)

oinstall

dba

oper

asmadmin

asmdba

asmoper

1000

1300

1301

1200

1201

1202

Inventory Group

OSDBA Group

OSOPER Group

OSASM

OSDBA for ASM

OSOPER for ASM

Y

Y

Y

Y

Y

Y

Y

Y

(Figure 2.4用户、组配置信息表)

用户、组的创立，环境变量、目录、内核参数等的设置脚本可见本文档附录。

groupadd -g 1300 dba

groupadd -g 1000 oinstall

groupadd -g 1200 asmadmin

groupadd -g 1201 asmdba

groupadd -g 1202 asmoper

groupadd -g 1301 oper

useradd -u 1100 -g oinstall -G asmadmin,asmdba,asmoper,dba -d

/home/grid -s /bin/bash -c "grid Infrastructure Owner" grid

useradd -u 1101 -g oinstall -G dba,oper,asmdba -d /home/oracle -s

/bin/bash -c "Oracle Software Owner" oracle

2.5 安装文件路径、改权限

关于grid、oracle用户的环境变量配置信息，见下述表格。

Environment Variable

ORACLE_BASE

Grid User

/u01/app/grid

Oracle User

/u01/app/oracle

ORACLE_HOME

ORACLE_SID [rac1]

ORACLE_SID [rac2]

+ASM1

+ASM2

rac1

rac2

(Figure 2.5环境变量配置信息表)

创立相关路径，完成权限的分配。

[root@hbpmsdb2 ~]# mkdir -p /u01/app/grid

[root@hbpmsdb2 ~]# mkdir -p /u01/app/oracle

[root@hbpmsdb2 ~]# chown -R oracle:oinstall /u01

[root@hbpmsdb2 ~]# chown -R grid:oinstall /u01/app/grid

[root@hbpmsdb2 ~]# chmod -R 775 /u01

2.6 修改/etc/security/，配置oracle、grid用户的shell限制

[root@hbpmsdb2 ~]#

oracle soft nproc 2047

oracle hard nproc 16384

oracle soft nofile 1024

oracle hard nofile 65536

grid soft nproc 2047

grid hard nproc 16384

grid soft nofile 1024

grid hard nofile 65536

[root@hbpmsdb2 ~]# vim /etc/security/limits.

Soft nproc 65535

[root@hbpmsdb2 ~]#

[root@hbpmsdb2 ~]#

[root@hbpmsdb2 ~]#

2.8 修改/etc/profile文件

[root@hbpmsdb2 ~]#

[root@hbpmsdb2 ~]# vim /etc/profile

if [ $USER = "oracle" ]||[ $USER = "grid" ]; then

fi

if [ $SHELL = "/bin/ksh" ]; then

ulimit -p 16384

ulimit -n 65536

else

fi

ulimit -u 16384 -n 65536

[root@hbpmsdb2 ~]#

[root@hbpmsdb2 ~]#

-max-nr = 1048576

-max = 6815744

= 2

= 33775554560

= 4096

= 250 32000 100 128

_local_port_range = 9000 65500

_default = 262144

_max = 4194304

_default = 262144

_max = 1048586

_wmem = 262144 262144 262144

_rmem = 4194304 4194304 4194304

[root@hbpmsdb2 ~]# sysctl –p

脚本文件如下

NTP设置

NTP设置，使用第一个几点提供NTP效劳

1、编辑两节点的文件

[root@rac01 /]# vim /etc/

#New ntp server added by yuqian

server 127.127.1.0 prefer # 添加首选的时钟效劳器

restrict 192.168.2.0 mask 255.255.255.255 nomodify notrap #只允许192.168.2.*网段的客户机进行时间同步

[root@rac02 /]# vim /etc/

#New NTP server added by yuqian

server 192.168.2.10 prefer

编辑两个节点的ntpd 参数

[root@rac01 /]# vim /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.

SYNC_HWCLOCK=yes #此选项用于自动校准系统时钟与硬件时钟

OPTIONS="-x -u ntp:ntp -p /var/run/"

[root@rac02 /]# vim /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.

SYNC_HWCLOCK=yes #此选项用于自动校准系统时钟与硬件时钟

OPTIONS="-x -u ntp:ntp -p /var/run/"

#注意理解Linux的时钟类型。在Linux系统中分为系统时钟和硬件时钟.

#系统时钟指当前Linux kernel中的时钟，而硬件时钟指的是BIOS时钟，由主板电池供电的那个时钟

#当Linux启动时，硬件时钟会读取系统时钟的设置，之后系统时钟就独立于硬件时钟运作

在两个节点启动ntpd效劳

[root@rac01 /]# chkconfig ntpd on

[root@rac01 /]# service ntpd start

[root@rac02 /]# chkconfig ntpd on

[root@rac02 /]# service ntpd start

查看ntp状态

[root@rac01 /]# ntpq -p

remote refid st t when poll reach delay offset jitter

==============================================================================

[root@rac02 /]# ntpq -p

remote refid st t when poll reach delay offset jitter

==============================================================================

也可以使用 watch ntpq -p 查看实时状态

[root@rac02 /]# watch ntpq -p

Every 2.0s: ntpq -p Thu Mar 31 15:04:03 2021

remote refid st t when poll reach delay offset jitter

==============================================================================

查看ntp相关日志

[root@rac01 /]# cat /var/log/messages | grep ntpd

2.11 其它节点准备工作

在节点2上重复节点1上的工作，执行完后即可。

2.12 配置oracle，grid 用户SSH对等性

在安装GI软件的过程中，可以通过界面配置SSH对等性，也可以在安装软件之前手工配置。

为oracle用户配置SSH：

生成用户的公匙和私匙，在每个节点上：

[root@rac01 ~]# su – oracle

[oracle@rac01 ~]# mkdir ~/.ssh

[oracle@rac01 ~]#cd .ssh

[oracle@rac01 ~]# ssh-keygen -t rsa

[oracle@rac01 ~]# ssh-keygen -t dsa

在节点1上，把所有节点的authorized_keys文件合成一个，再用这个文件覆盖各个节点.ssh下的同名文件：

[oracle@rac01 ~]# touch authorized_keys

[oracle@rac01 ~]# ssh rac01 cat /home/oracle/.ssh/id_ >> authorized_keys

[oracle@rac01 ~]# ssh rac02 cat /home/oracle/.ssh/id_ >> authorized_keys

[oracle@rac01 ~]# ssh rac01 cat /home/oracle/.ssh/id_ >> authorized_keys

[oracle@rac01 ~]# ssh rac02 cat /home/oracle/.ssh/id_ >> authorized_keys

[oracle@rac01 ~]# scp authorized_keys rac02:/home/oracle/.ssh/

分别在每个节点上执行检验操作:

[oracle@rac01 ~]# ssh rac01 date

[oracle@rac01 ~]# ssh rac02 date

[oracle@rac01 ~]# ssh-agent $SHELL

[oracle@rac01 ~]# ssh-add

1.9.2 配置ISCSI〔所有节点执行〕

--手工登陆：

[root@rac01 /]# iscsiadm -m node -T iqn.2006-01 .openfiler:tsn.1b84495a0ocr -p

192.168.2.245 -l

Logging in to [iface: default, target: iqn.2006-01 .openfiler:tsn.1b84495a0ocr, portal:

192.168.2.245,3260] (multiple)

Login to [iface: default, target: iqn.2006-01 .openfiler:tsn.1b84495a0ocr, portal:

192.168.2.245,3260] successful.

[root@rac01 /]# iscsiadm -m node -T iqn.2006-01 .openfiler:tsn.9c15300c2fra -p

192.168.2.245 -l

Logging in to [iface: default, target: iqn.2006-01 .openfiler:tsn.9c15300c2fra, portal:

192.168.2.245,3260] (multiple)

Login to [iface: default, target: iqn.2006-01 .openfiler:tsn.9c15300c2fra, portal:

192.168.2.245,3260] successful.

[root@rac01 /]# iscsiadm -m node -T iqn.2006-01 .openfiler:tsn.4e8f16a1bdata -p

192.168.2.245 -l

Logging in to [iface: default, target: iqn.2006-01 .openfiler:tsn.4e8f16a1bdata, portal:

192.168.2.245,3260] (multiple)

Login to [iface: default, target: iqn.2006-01 .openfiler:tsn.4e8f16a1bdata, portal:

192.168.2.245,3260] successful.

--配置自动登陆：

[root@rac01 /]# iscsiadm -m node -T iqn.2006-01 .openfiler:tsn.1b84495a0ocr -p

192.168.2.245 --op update -n p -v automatic

[root@rac01 /]# iscsiadm -m node -T iqn.2006-01 .openfiler:tsn.4e8f16a1bdata -p

192.168.2.245 --op update -n p -v automatic

[root@rac01 /]# iscsiadm -m node -T iqn.2006-01 .openfiler:tsn.9c15300c2fra -p

192.168.2.245 --op update -n p -v automatic

san存储多路径软件的安装配置

采用系统自带的多路径软件，配置如下：

[root@hbpmsdb1 etc]# rpm –qa|grep device

[root@hbpmsdb1 ~]# service multipathd start

[root@hbpmsdb1 ~]# chkconfig --level 345 multipathd on

拷贝及生成的配置文件

[root@hbpmsdb1 ~]#

扫描磁盘

#multipath -v2

使用上面命令之后，系统中会出现链路聚合之后的dm设备，同时也会在/dev/mapper/、/dev/mpath/目录下生成相应的设备。

查看multipath拓扑结构

#multipath -ll

拷贝及生成的配置文件

[root@rac01

[root@rac01 ~]#

multipaths {

#

#

#

#

#

#

#

#

#

#

multipath {

}

wwid

alias

3600508b4000156d7b0000

yellow

multibus path_grouping_policy

path_checker

path_selector

failback

rr_weight

readsector0

"round-robin 0"

manual

priorities

5 no_path_retry

multipath {

wwid 14f504e46494c4552644e577567632d51414e422d73313468

alias data

}

multipath {

wwid 14f504e46494c4552574e467677782d62466a392d6b514770

alias vcr

}

multipath {

wwid 14f504e46494c45523257785758562d483377562d386b7169

alias fra

}

}

[root@hbpmsdb1 etc]# service multipathd restart

[root@hbpmsdb1 etc]# multipath –F

[root@hbpmsdb1 etc]# multipath -v2

[root@hbpmsdb1 etc]# multipath –ll //显示如下信息那么表示多路径配置成功

create: fra (14f504e46494c45523257785758562d483377562d386b7169) undef OPNFILER,VIRTUAL-DISK

size=9.5G features='0' hwhandler='0' wp=undef

`-+- policy='round-robin 0' prio=1 status=undef

`- 33:0:0:0 sdb 8:16 undef ready running

create: vcr (14f504e46494c4552574e467677782d62466a392d6b514770) undef OPNFILER,VIRTUAL-DISK

size=5.7G features='0' hwhandler='0' wp=undef

`-+- policy='round-robin 0' prio=1 status=undef

`- 34:0:0:0 sdc 8:32 undef ready running

create: data (14f504e46494c4552644e577567632d51414e422d73313468) undef OPNFILER,VIRTUAL-DISK

size=19G features='0' hwhandler='0' wp=undef

`-+- policy='round-robin 0' prio=1 status=undef

`- 35:0:0:0 sdd 8:48 undef ready running

磁盘分区和安装ASM软件

分别将挂载上来的存储通过fdisk依次进行分区，以sdb为例，fdisk /dev/sdb,按照提示依次输入n,p,1,w退出，使用fdisk –l显示如下内容即可〔只需要在节点1上执行〕。

Fdisk /dev/mapper/date: 524 MB, 524288000 bytes

64 heads, 32 sectors/track, 500 cylinders

Units = cylinders of 2048 * 512 = 1048576 bytes

Device Boot Start End Blocks Id System

/dev/sdb1 1 500 511984 83 Linux

安装asm相关软件，rpm –qa | grep asm，需要如下安装包(版本要与系统保持一致，每个节点都需要安装)：

oracleasm-*.el6

oracleasm-support-*.el6

oracleasmlib-*.el6

[root@rac01 /]# rpm -ivh 6.x86_ --force --nodeps

[root@rac01 /]# rpm -ivh 6.x86_

[root@rac01 /]# rpm -ivh 6.x86_

6.x86_6.x86_6.x86_

2.14.1 配置ASM驱动效劳

可以通过执行/usr/sbin/oracleasm或/etc/init.d/oracleasm命令来进行配置，后者命令是Oracle 10g中进行ASM配置的命令，11g推荐执行前一个命令，后面那个命令也有保存。

查看ASM效劳状态：

[root@rac01 /]# oracleasm status

Checking if ASM is loaded: no

Checking if /dev/oracleasm is mounted: no

默认情况下，asm效劳没有启动，需要通过/usr/sbin/oracleasm init命令启动效劳。

[root@hbpms2db1 ~]# /usr/sbin/oracleasm init

oracleasm命令使用及相关参数可以直接执行下述命令来获取：

[root@rac01 ~]# /usr/sbin/oracleasm -h

Usage: oracleasm [--exec-path=] [ ]

oracleasm –exec-path

oracleasm -h

oracleasm -V

The basic oracleasm commands are:

configure Configure the Oracle Linux ASMLib driver

init Load and initialize the ASMLib driver

exit Stop the ASMLib driver

scandisks Scan the system for Oracle ASMLib disks

status Display the status of the Oracle ASMLib driver

listdisks List known Oracle ASMLib disks

querydisk Determine if a disk belongs to Oracle ASMlib

createdisk Allocate a device for Oracle ASMLib use

deletedisk Return a device to the operating system

renamedisk Change the label of an Oracle ASMlib disk

update-driver Download the latest ASMLib driver

[root@rac01 ~]#

② 配置ASM效劳：

[root@rac01 ~]# /usr/sbin/oracleasm configure -i

Configuring the Oracle ASM library driver.

Default user to own the driver interface []: grid

Default group to own the driver interface []: asmadmin

Start Oracle ASM library driver on boot (y/n) [n]: y

Scan for Oracle ASM disks on boot (y/n) [y]: y

Writing Oracle ASM library driver configuration: done

[root@rac01 ~]# /usr/sbin/oracleasm init

Loading module "oracleasm": oracleasm

Mounting ASMlib driver filesystem: /dev/oracleasm

[root@rac011 ~]# /usr/sbin/oracleasm configure

ORACLEASM_ENABLED=true

ORACLEASM_UID=grid

ORACLEASM_GID=asmadmin

ORACLEASM_SCANBOOT=true

ORACLEASM_SCANORDER=""

ORACLEASM_SCANEXCLUDE=""

[root@hbpms2db1 ~]#

说明：/usr/sbin/oracleasm configure -i命令进行配置时，用户为grid，组为asmadmin，并通过/usr/sbin/oracleasm init命令来加载oracleasm内核模块。

③ 在节点2上执行上述命令，完成ASM效劳配置

2.14.2 创立ASM磁盘

只需在一个节点上创立ASM磁盘即可！创立完之后，在其它节点上执行/usr/sbin/oracleasm scandisks，那么可看到ASM磁盘。

接下来，开始创立ASM磁盘，执行/usr/sbin/oracleasm createdisk来创立ASM磁盘

[root@rac01 ~]# /usr/sbin/oracleasm createdisk OCRVOTE1 /dev/mapper/ocr

[root@rac01 ~]# /usr/sbin/oracleasm createdisk DATA1 /dev/mapper/data

[root@rac01 ~]# /usr/sbin/oracleasm createdisk FRA1 /dev/mapper/fra

通过/usr/sbin/oracleasm listdisks查看ASM磁盘

[root@rac01 /]# /usr/sbin/oracleasm listdisks

DATA1

FRA1

OCR1

在节点2

[root@rac01 ~]# /usr/sbin/oracleasm scandisks

Reloading disk partitions: done

Cleaning any stale

Scanning system for

Instantiating disk "OCR1"

Instantiating disk "FRA1"

Instantiating disk "DATA1"

扫描后，各节点上都会显示已经创立好的asm磁盘。

查看ASM磁盘对应的物理磁盘：

[root@rac01 ~]# /usr/sbin/oracleasm querydisk /dev/sd*

Device "/dev/sda" is not marked as an ASM disk

Device "/dev/sda1" is not marked as an ASM disk

Device "/dev/sda2" is not marked as an ASM disk

Device "/dev/sda3" is not marked as an ASM disk

Device "/dev/sdb" is marked an ASM disk with the label "FRA1"

Device "/dev/sdc" is marked an ASM disk with the label "OCR1"

Device "/dev/sdd" is marked an ASM disk with the label "DATA1"

至此，ASM磁盘创立已经完成！

2.15 数据库安装介质

是Oracle软件的安装介质。p10404530_112030_Linux-x86-64_是GRID软件的安装介质。

包拷贝至/home/oracle目录，p10404530_112030_Linux-x86-64_包拷贝至/home/grid目录，通过unzip命令依次进行解压：

[root@rac011 ~]#cd /

[root@rac01 /]# unzip p10404530_112040_Linux-x86-64_

[root@rac01 /

[root@rac01 /]#cd /

[root@rac01 /]# unzip p10404530_112040_Linux-x86-64_

2.16 安装GRID前预检查配置信息

在安装 GRID之前，可以先使用CVU(Cluster Verification Utility)工具进行安装前的环境检查，非必要。安装过程中会检测安装环境，有问题会报错，处理完相关问题，不用重新执行安装软件，只需要点重新检测按钮，可以重新检测。下面为必要安装包，系统选择完全安装，这些包都有安装，只有pdksh包需要另外安装。

compat-libstdc++-33-3.2.3 (i386)

libaio-devel-0.3.105 (i386)

libgcc-3.4.6 (i386)

libstdc++-3.4.6 (i386)

unixODBC-2.2.11 (i386)

unixODBC-devel-2.2.11 (i386)

compat-libstdc++-stdc++-5_8.1.x86_

cvuqdisk-*〔grid安装软件里面一个包，在/home/grid/grid/rpm/目录下〕

①_x0001_ 使用 CVU 检查GRID的安装环境：

[root@hbpms2db1 ~]# su - grid

hbpms2db1-> ./ stage -pre crsinst -n rac01,rac02 -fixup -verbose

从预检查结果中，可以查看到安装环境是否满足，有报错，那么按照提示进行相关操作即可。直到检查全部通过，我们的安装环境算是完全准备好了。

安装Grid Infrastructure

xhost +

su - grid

①_x0001_ 以grid用户登录图形界面，执行/home/grid/grid/runInstaller,进入OUI的图形安装 界面：

② 进入OUI安装界面后，选择第3项，跳过软件更新，Next：

③ 选择集群的Grid Infrastructure，Next：

④ 选择 advanced Installation，Next：

⑤ 语言选择默认，English，Next：