Oracle技术服务|系统集成|技术开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 8693|回复: 4

[分享] Solaris 64位安装12C Cluster & ASM

[复制链接]

17

主题

1

好友

217

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2013-9-20 20:04:49 |显示全部楼层
Solaris 64位安装12C Cluster & ASM
概述
本次cluster安装成oracle12C新的Flexcluster, 同时使用GNS代替手动IP管理(Flexcluter要求使用GNS)。本次测试主要搭建Oracle12C的新环境,对12C的一些新特征,这里不做描述

环境描述
DNSDHCP服务器地址
10.103.11.206

节点1
Hostname:             solaris-01
Public IP :                10.103.11.121
ASM & private IP:  192.168.1.121  (Flex ASM可由单独的网段组成)
Virtual IP:                10.103.11.160 (DHCP分配, GNS解析)

节点2
Hostname:              solaris-02
Public IP :                10.103.11.122
ASM & private IP:  192.168.1.122
Virtual IP:                10.103.11.164 (DHCP分配,GNS解析)

SCAN Name
solaris-cluster-scan.dbadirect.gns

SCAN IP  (DHCP分配,GNS解析)
10.103.11.162
10.103.11.163
10.103.11.166

Cluster Name
Solaris-cluster

OCR and vote disks: 存储在ASM数据磁盘组

安装要求
  
类别
  
描述
网卡
至少具备两张网卡public与private
内存
4GB以上
操作系统
Solaris10以上或者 Solaris 11 SRU 7.5以上
存储
共享存储:  SAN或者NAS
  
本地存储:   18GB以上,包括Grid Home, Oracle Home以及相应用户的Base空间
  


1 环境检查
1.1 硬件要求检查
内存 (RAM) (至少需要4GB以上)
[email protected]>  prtconf | grep 'Memory'
Memorysize: 4096 Megabytes
虚拟内存(swap)
  1. [email protected]>swap -s
  2. total:4822856k bytes allocated + 18446744073707641376k reserved = 2912616k used,4261816k available
复制代码
1.2操作系统检查Cluster安装在Solaris 5.10操作系统上
  1. [email protected]> uname -a
  2. SunOS solaris-01 5.10 Generic_147148-26 i86pc i386 i86pc
  3. [email protected]> isainfo -vk
  4. 64-bit amd64 kernel modules
复制代码
以下包需要安装在系统里,
  1. SUNWarc
  2. SUNWbtool
  3. SUNWcsl
  4. SUNWdtrc
  5. SUNWeu8os
  6. SUNWhea
  7. SUNWlibC
  8. SUNWlibm
  9. SUNWlibms
  10. SUNWsprot
  11. SUNWtoo
  12. SUNWi1of
  13. SUNWi1cs (ISO8859-1)
  14. SUNWi15cs (ISO8859-15)
  15. SUNWxwfnt
复制代码
可用下面的方法检查或者安装系统包
  1. [email protected]> pkginfo SUNWbtool
  2. system      SUNWbtool CCS tools bundled with SunOS
复制代码
  1. pkgadd -d ./ SUNWarc
  2. (安装包)
复制代码
1.3网络要求检查
1.3.1 网卡检查
[email protected]> dladm show-dev
e1000g0        link: up        speed: 1000  Mbps      duplex: full
e1000g1        link: up        speed: 1000  Mbps      duplex: full

e1000g0 为public网卡
e1000g1为ASM & private网卡

1.3.2 网络配置设置

配置如下,
/etc/inet/netmasks文件中添加两个网卡所在的网段地址如下
10.103.11.0    255.255.255.0
192.168.1.0    255.255.255.0
/etc/resolv.conf文件中添加DHCPDNS服务器所在的IP地址如下,
nameserver 10.103.11.206
/etc/hosts文件中配置publicprivate对应的IP地址及别名如下,
#node1
10.103.11.121  solaris-01       rac1
192.168.1.121  solaris-01-priv  rac1-priv
#node2
10.103.11.122  solaris-02       rac2
192.168.1.122  solaris-02-priv  rac2-priv



1.3.3 GNS配置列表
为了使用GNS,必须提前配置好DHCP服务器,配合中DHCP服务器运行在10.103.11.206机器上, 配置列表如下

  
标识
  
主机节点
类型
地址
分配者
解析者
GNS VIP
由cluster选择
virtual
10.103.11.135
固定分配
DNS
Solaris-01 public
Solari-01
public
10.103.11.121
固定分配
GNS
Solaris-01 VIP
由cluster选择
virtual
10.103.11.160
DHCP
GNS
Solaris-01 ASM&private
Solaris-01
ASM&private
192.168.1.121
固定分配
GNS
Solaris-02 public
Solaris-02
public
10.103.11.122
固定分配
GNS
Solaris-02 VIP
由cluster选择
virtual
10.103.11.164
DHCP
GNS
Solaris-02 ASM&private
Solaris-02
ASM&private
192.168.1.122
固定分配
GNS
Scan vip 1
由cluster选择
virtual
10.103.11.162
DHCP
GNS
Scan vip 2
由cluster选择
virtual
10.103.11.163
DHCP
GNS
Scan vip 3
由cluster选择
virtual
10.103.11.166
DHCP
GNS

1.4创建用户与组以及路径按照12c官方文档说明,标准组与用户如下列表所示
  User  
Group
grid
oinstall, dba,  asmadmin, asmdba
oracle
Oinstall, dba, asmdba,  backupdba, dgdba,kmdba,asmoper

1.4.1 按照上述列表创建组与用户
  1. # groupadd -g 54321 oinstall
  2. # groupadd -g 54322 dba
  3. # groupadd -g 54323 oper
  4. # groupadd -g 54324 backupdba
  5. # groupadd -g 54325 dgdba
  6. # groupadd -g 54326 kmdba
  7. # groupadd -g 54327 asmdba
  8. # groupadd -g 54328 asmoper
  9. # groupadd -g 54329 asmadmin
  10. # groupadd -g 54330 osacfs
  11. # groupadd -g 54331 osaudit
  12. # useradd -u 54322 -g oinstall -G asmadmin,asmdba,dba grid
  13. # useradd -u 54323 -g oinstall -G dba,backupdba,dgdba,kmdba,asmdba,asmoper oracle
  14. # mkdir -p  /u01/app/12.1.0/grid  (Grid Home)
  15. # mkdir -p /u01/app/grid  (Grid用户Base)
  16. # mkdir -p /u01/app/oracle  (oracle用户Base)
  17. # chown -R grid:oinstall /u01
  18. # chmod -R 775 /u01/
  19. # chown oracle:oinstall /u01/app/oracle
复制代码
1.4.2 设置环境变量
  1. ---grid profile
  2. export ORACLE_BASE=/u01/app/grid
  3. export ORACLE_HOME=/u01/app/12.1.0/grid
  4. export ORACLE_SID=+ASM1
  5. export PATH=$ORACLE_HOME/bin:$PATH
  6. export LD_LIBRARY_PATH=$ORACLE_HOME/lib

  7. --oracle profile
  8. export ORACLE_BASE=/u01/app/oracle
  9. export ORACLE_HOME=$ORACLE_BASE/product/12.1.0/db_1
  10. export ORACLE_SID=dev1
  11. export PATH=$ORACLE_HOME/bin:$PATH
  12. export LD_LIBRARY_PATH=$ORACLE_HOME/lib
  13. 将上述设置写入相应shell对应的配置文件例如 .bash_profile (B-shell)
复制代码

1.5 修改内核参数并配置系统资源1.5.1 用户系统资源配置参照下表配置用户系统资源
  Resource shell  limit  
resource
Soft limit
Hard limit
Open file  descriptors
nofile
At least 1024
At least 65536
Number of  processes available to a single user
nproc
At least 2047
At least 16384
Size of the stack  segment of the process
stack
At least 10240 KB
at least 10240  KB, and at most 32768 KB

参照上述列表用project配置gridoracle用户资源
  1. ##grid
  2. projadd -U grid user.grid
  3. projmod -sK "process.max-file-descriptor=(privileged,66536,deny)" user.grid
  4. projmod -sK "process.max-file-descriptor=(basic,66536,deny)" user.grid
  5. projmod -sK "project.max-shm-memory=(privileged,5294967295,deny)" user.grid
  6. projmod -sK "project.max-shm-ids=(privileged,100,deny)" user.grid
  7. projmod -sK "process.max-sem-nsems=(privileged,256,deny)" user.grid
  8. projmod -sK "project.max-sem-ids=(privileged,100,deny)" user.grid

  9. ##oracle
  10. projadd -U oracle user.oracle
  11. projmod -sK "process.max-file-descriptor=(privileged,66536,deny)" user.oracle
  12. projmod -sK "process.max-file-descriptor=(basic,66536,deny)" user.oracle
  13. projmod -sK "project.max-shm-memory=(privileged,5294967295,deny)" user.oracle
  14. projmod -sK "project.max-shm-ids=(privileged,100,deny)" user.oracle
  15. projmod -sK "process.max-sem-nsems=(privileged,256,deny)" user.oracle
  16. projmod -sK "project.max-sem-ids=(privileged,100,deny)" user.oracle
复制代码
1.5.2 配置TCP/UDP端口限制查看端口范围限制
  1. /usr/sbin/ndd /dev/tcp tcp_smallest_anon_port (应该为9000)
  2. /usr/sbin/ndd /dev/tcp tcp_largest_anon_port    (应该为65500)
  3. /usr/sbin/ndd /dev/udp udp_smallest_anon_port (应该为9000)
  4. /usr/sbin/ndd /dev/udp udp_largest_anon_port  (应该为65500)
复制代码
如果未满足要求,用下面方法进行设置,
  1. /usr/sbin/ndd -set /dev/tcp tcp_smallest_anon_port 9000
  2. /usr/sbin/ndd -set /dev/tcp tcp_largest_anon_port 65500
  3. /usr/sbin/ndd -set /dev/udp udp_smallest_anon_port 9000
  4. /usr/sbin/ndd -set /dev/udp udp_largest_anon_port 65500
复制代码
1.5.3 建立gridoracle用户等效性设置由于每次安装cluster都做了这个步骤,在这里我不具体描述步骤,参考相关文档即可;下面是验证结果
  1. [email protected]> ssh solaris-01 date
  2. Friday, September 20, 2013 06:38:04 PM CST
  3. [email protected]> ssh solaris-02 date
  4. Friday, September 20, 2013 06:38:10 PM CST
  5. [email protected]> ssh solaris-01-priv date
  6. Friday, September 20, 2013 06:38:34 PM CST
  7. [email protected]> ssh solaris-02-priv date
  8. Friday, September 20, 2013 06:38:42 PM CST
复制代码
1.5.4 检查NTP服务本例中我们使用cluster自带的时间同步服务,因此我们提前关于系统自己运行的NTP服务检查状态
  1. [email protected]> svcs svc:/network/ntp:default
  2. STATE          STIME    FMRI
  3. disabled       Aug_26   svc:/network/ntp:default
  4. (显示已经关闭)
复制代码
如果状态为enable,我们用下面方法关闭
  1. svcadm disable svc:/network/ntp
复制代码
1.6 配置ASM共享存储我们使用如下磁盘作为共享存储
  1. /dev/dsk/c3t0d0
  2. /dev/dsk/c3t1d0
  3. /dev/dsk/c3t2d0
  4. /dev/dsk/c3t3d0
  5. /dev/dsk/c3t4d0
  6. /dev/dsk/c3t5d0
复制代码
经过分区后,做如下授权设置
  1. # chown grid:asmadmin /dev/rdsk/c3t0d0s0
  2. # chmod 660 /dev/rdsk/c3t0d0s0
  3. # chown grid:asmadmin /dev/rdsk/c3t1d0s0
  4. # chmod 660 /dev/rdsk/c3t1d0s0

  5. # chown grid:asmadmin /dev/rdsk/c3t2d0s0
  6. # chmod 660 /dev/rdsk/c3t2d0s0
  7. # chown grid:asmadmin /dev/rdsk/c3t3d0s0
  8. # chmod 660 /dev/rdsk/c3t3d0s0
  9. # chown grid:asmadmin /dev/rdsk/c3t4d0s0
  10. # chmod 660 /dev/rdsk/c3t4d0s0
  11. # chown grid:asmadmin /dev/rdsk/c3t5d0s0
  12. # chmod 660 /dev/rdsk/c3t5d0s0
复制代码
2 安装Grid Infrastructure并配置ASM
下载12.1.0.1软件并解压如下图,
Grid Infrastructure部分

Oracle database部分

2.1 运用runcluvfy.sh工具检查安装环境
进入grid安装介质目录,运行下面命令
./runcluvfy.sh stage -pre crsinst -nsolaris-01,solaris-02 -fixup –verbose
仔细检查生成脚本,一切检查通过后开始下面的正式安装

2.2 安装Grid并配置ASM
下面是步骤截图,






(选择Flex cluster)




(这里配置GNS, flex cluster必须配置此项)



(选择HUB节点, 对应的有leaf节点)






(ASM与private共用一个私有网卡)



























(执行脚本后返回此界面)







至此,cluster与ASM安装完成.

2.3 安装数据库软件RDBMS
此过程与11gR2中该部分步骤基本一样,在这里不做描述

2.4 创建示例数据库dev
下面是具体操作截图




(选择高级模式)



(选择policy-managed类型,一般只有cluster中有比较多的节点时才选择此类型)


(创建一个空的CDB容器数据库)












后续截图和普通创建数据库类似,此处省略

3 检查集群状态
3.1 cluster总状态
[email protected]>crs_stat -t
Name           Type           Target    State    Host        
------------------------------------------------------------
ora....SM.lsnrora....er.type ONLINE    ONLINE    solaris-01
ora.DATA.dg    ora....up.type ONLINE    ONLINE   solaris-01  
ora.FRA.dg     ora....up.type ONLINE    ONLINE   solaris-01  
ora....ER.lsnrora....er.type ONLINE    ONLINE    solaris-01
ora....AF.lsnrora....er.type OFFLINE   OFFLINE               
ora....N1.lsnrora....er.type ONLINE    ONLINE    solaris-02
ora....N2.lsnrora....er.type ONLINE    ONLINE    solaris-01
ora....N3.lsnrora....er.type ONLINE    ONLINE    solaris-01
ora.MGMTLSNR   ora....nr.type ONLINE    ONLINE   solaris-01  
ora.asm        ora.asm.type   ONLINE   ONLINE    solaris-01  
ora.cvu        ora.cvu.type   ONLINE   ONLINE    solaris-01  
ora.dev.db     ora....se.type ONLINE    ONLINE   solaris-02  
ora.dev.hr.svcora....ce.type ONLINE    ONLINE    solaris-02
ora.gns        ora.gns.type   ONLINE   ONLINE    solaris-01  
ora.gns.vip    ora....ip.type ONLINE    ONLINE   solaris-01  
ora.mgmtdb     ora....db.type OFFLINE   OFFLINE               
ora....networkora....rk.type ONLINE    ONLINE    solaris-01
ora.oc4j       ora.oc4j.type  ONLINE   ONLINE    solaris-01  
ora.ons        ora.ons.type   ONLINE   ONLINE    solaris-01  
ora.proxy_advmora....vm.type ONLINE    ONLINE    solaris-01
ora.scan1.vip  ora....ip.type ONLINE    ONLINE   solaris-02  
ora.scan2.vip  ora....ip.type ONLINE    ONLINE   solaris-01  
ora.scan3.vip  ora....ip.type ONLINE    ONLINE   solaris-01  
ora....01.lsnrapplication    ONLINE    ONLINE   solaris-01  
ora....-01.ons application    ONLINE   ONLINE    solaris-01  
ora....-01.vipora....t1.type ONLINE    ONLINE    solaris-01
ora....02.lsnrapplication    ONLINE    ONLINE   solaris-02  
ora....-02.onsapplication    ONLINE    ONLINE   solaris-02  
ora....-02.vip ora....t1.typeONLINE    ONLINE    solaris-02

3.2 进程描述
[email protected]> ps -ef|grep pmon
    grid  2611    1   0   Sep 14 ?           1:08 asm_pmon_+ASM1
  oracle  2756    1   0   Aug 26 ?           5:22 ora_pmon_dev_2
    grid  8062  857   0 18:57:00 pts/3       0:00 grep pmon
grid 6161     1   0  Aug 26 ?           2:33apx_pmon_+APX1

[email protected]> ps -ef|grep pmon
   grid  3919     1  0   Aug 26 ?           4:26 asm_pmon_+ASM2
   grid  4873     1  0   Aug 26 ?           2:36 apx_pmon_+APX2
oracle  5631     1  0   Aug 26 ?           5:30 ora_pmon_dev_1
   grid  3613 20954   0 18:57:21 pts/3       0:00 grep pmon
注意,12c多出了apx_pmon_+APX1这样的进程

总结
Oracle 12C与之前版本相比,有了比较大的新特性
1.    数据库结构方面,出现了CDB与PDB的概念
2.    Cluster方面,出现了Flex cluster
关于12C的新特性,有待更多的实验与研究


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

回复

使用道具 举报

71

主题

2

好友

1022

积分

版主

Rank: 7Rank: 7Rank: 7

发表于 2013-9-20 21:08:43 来自手机 |显示全部楼层
回复

使用道具 举报

2

主题

0

好友

102

积分

版主

Rank: 7Rank: 7Rank: 7

发表于 2013-9-20 21:43:14 |显示全部楼层
先顶再看,辛苦楼主!
回复

使用道具 举报

44

主题

1

好友

849

积分

高级会员

Rank: 4

发表于 2013-9-20 22:17:52 |显示全部楼层
膜拜大师。。。
自己路自己走~~~
------- linux + oracle -----
回复

使用道具 举报

27

主题

3

好友

282

积分

管理员

Rank: 9Rank: 9Rank: 9

发表于 2013-9-22 14:57:58 |显示全部楼层
大师,NB!!!
James.Yao
---------------------------------------------
DB Forum: http://bbs.dbsupport.cn
---------------------------------------------
专注于各类系统高可集群,系统集成,网络解决方案,Oracle实施,部署,调优,故障处理,高可用,7*24等项目
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

QQ|手机版|DB Support 技术联盟 ( 粤ICP备13057501号-1 )

GMT+8, 2018-1-22 20:04 , Processed in 0.246779 second(s), 22 queries .

Powered by Discuz! X2.5

© 2001-2012 Comsenz Inc.

回顶部