最近客户主机每隔10天左右就会宕机,配置为P650+DS4300+3582,上面跑着oracle+webshere+tsm。宕机是,连接主机的显示器无反应,可以ping通主机,无法telnet及ftp。只能硬关机,重启后检测各硬件均正常。随后通过NMON作监控,死机前物理内存都free很低。发现业务时会有defanuct僵尸进程,ps -ef能查到是oracle的,但在ps -ef PID僵尸进程就没了。调整过webshere的参数了,还是没用。是不是内存存在泄露
宕机前topas看到的发现hdisk0,hdisk1,hdisk3都是100%,但读和写却为0,不知怎么回事。
Topas Monitor for host: JSSVR2EVENTS/QUEUES FILE/TTY
Thu Dec 25 14:44:29 Interval:2 Cswitch 4025Readch 0
Syscall 25649Writech 373
Kernel 29.2 |######### |Reads 1Rawin 0
User 1.1 |# |Writes 0Ttyout 373
Wait 45.0 |#############|Forks 0Igets 0
Idle 24.6 |####### |Execs 0Namei 448
Runqueue 1.5Dirblk 0
NetworkKBPS I-PackO-Pack KB-InKB-OutWaitqueue 9.0
en1 271.4 1986.01977.0 122.3 149.1
lo0 0.0 0.0 0.0 0.0 0.0PAGING MEMORY
Faults 0Real,MB 8191
Disk Busy% KBPS TPS KB-Read KB-WritSteals 0% Comp 40.4
hdisk0100.0 0.0 0.0 0.0 0.0PgspIn 0% Noncomp60.4
hdisk1100.0 0.0 0.0 0.0 0.0PgspOut 0% Client 60.4
hdisk3100.0 0.0 0.0 0.0 0.0PageIn 0
dac0 0.0 0.0 0.0 0.0 0.0PageOut 0PAGING SPACE
dac1 0.0 0.0 0.0 0.0 0.0Sios 0Size,MB 8192
dac0-utm0.0 0.0 0.0 0.0 0.0 % Used 29.1
hdisk5 0.0 0.0 0.0 0.0 0.0NFS (calls/sec)% Free 70.8
hdisk2 0.0 0.0 0.0 0.0 0.0ServerV2 0
dac1-utm0.0 0.0 0.0 0.0 0.0ClientV2 0 Press:
cd0 0.0 0.0 0.0 0.0 0.0ServerV3 0 "h" for help
hdisk4 0.0 0.0 0.0 0.0 0.0ClientV3 0 "q" to quit
Name PIDCPU%PgSp Owner
oracle 11867625.0 1.5 oracle8
named4 19152 4.5 0.6 root
java 54568 0.6 714.2 root
topas 109056 0.1 4.9 root
IBM.CSMA 32260 0.0 2.0 root
oracle 120256 0.020.2 oracle8
lrud 1806 0.0 0.0 root
tnslsnr 45950 0.0 4.2 oracle8
syncd 4456 0.0 0.6 root
oracle 108546 0.017.2 oracle8
oracle 123174 0.017.3 oracle8
oracle 48602 0.013.9 oracle8
dsmserv 13276 0.026.6 root
oracle 120932 0.018.1 oracle8
gil 3096 0.0 0.1 root
oracle 106922 0.015.2 oracle8
java 124174 0.071.3 root
oracle 118876 0.017.5 oracle8
oracle 24548 0.0 1.9 oracle8
oracle 29682 0.011.3 oracle8
rpc.lock 24006 0.0 0.0 root
Signal 2 received
于是作了statspack监控(每5分钟做一次),看不出有什么异常。这种情况一直持续,10来天发生一次,前几日下午又发生这种事情,nmon显示15:33系统无响应,所以只拿到了15:30分的STASPACK结果,现在附上当时的nmon结果和STASPACK结果。想请教:1。oracle的运行情况根据STATSPACK来看正常么;2。系统是因为oracle引起的宕机么?3。从目前的监控资料来看,我们应该在注意哪些地方需要调整?
(近日已经修改了aix如下参数 vmo -p -o minperm%=10
vmo -p -o maxclient%=50
vmo -p -o maxperm%=50
vmo -p -o lru_file_repage=0
)
我来回答