天道酬勤

很久没有更新博客了，当大家看到这个标题的时候可能会怀疑我是不是提前到了更年期了，我不知道男人到了40的年纪是不是也会有像女人一样的征兆，姑且认为差不多吧。

近段时间很忙，因为公司是IBM合作伙伴，为了获得承接某些项目的资历，大家都不断的学习考试，而我选择了102－IBM Certified Systems Expert – High Availability for AIX Technical Support and Administration，虽然IBM的考试不贵而且公司还报销，但是看到在前面考试的兄弟挂了压力还是蛮大的。目前公司的业务主要在小机和存储这边，数据库的业务少一些，由于以前没有怎么接触过小机，所以要恶补这方面的知识，但我又是那么那么的迷恋数据库，我又怎么可能放下呢！看书，看文档，实验一个都不落下。为了能与时俱进，出差前还是考了1Z0－040，12日途经武汉到宜昌，某电力公司系统扩容：2台P670做的HA、ORACLE数据库、CPU从4Way升到8Way、MEM从16G升到32G、磁盘增加一个T；客户的业务是不能停的，加上这种老机器拆装CPU风险高啊。实施之前查看环境做好备份，从13日周六开始干活到14日凌晨3：30，回到酒店洗完天都快亮了，中途实在是顶不住了趴在一张桌子上睡了会儿，哪知这一趴就一个小时，完全没有感觉到机房的寒冷。大公司机房多，有处理业务的系统，有监测水文、天气的系统，本人这次有幸到了那雄伟大坝的心脏，感受到了什么才叫专业级的监控，cool,very cool！结束了在宜昌五天的工作，下一站：黄石－鄂州－南昌，就这样不停的赶路－投店－机房的生活让人有点累，特别是到了晚上，想念老婆还有果果（他/她现在还在老婆肚子里面），屈指算算，有10天她没有听到我讲的睡前故事了，没有给她按摩了，不知道小家伙有没有想我呢！脑海总会想像她的可爱，她的调皮，我该买个什么样的相机去珍藏那一刻：卡片的太单调能突显她吗？单反的操作会不会太复杂我捕捉不到那一刻，或许那个时候看到她我就不觉得累了。昨天早上终于回到深圳了，快点回家赶在老婆七点出门上班，洗手消毒去摸摸她的肚子，9天肚子变大了一些，嘿嘿！洗澡、刮胡子、剪指甲，发现睡不着，去楼下剪头发，吃饭，睡觉，电话，电话，睡不着起床，等老婆下班回来跟果果说话。晚上十点，眼看就要恢复中断了9天的睡前故事，电话响了（技术部老总的）：

总：现在在哪儿呢？

我：今天早上回来的。

总：那正好，你现在马上到xxx来吧，客户(其实现在还不是我们的客户)的一套RAC系统出问题了。

我：好，就来。

背电脑、下楼、打车，经过重重安检11：00到达客户机房，了解情况：客户是一套双节点的10.2.0.4的RAC加二套DataGuard，在做了灾备演练failover后，一节点起不来了，alert*.log出现ORA-16009 in alert log with standby and LGWR ASYNC的错误，检查DG的配置信息：

log_archive_dest_2设置有VALID_FOR=(ONLINE_LOGFILE, PRIMARY_ROLE)

这个错误在metalink描述为一个Bug 4676659

ID 4676659.8

客户的版本正好在受影响版本的范围。

最后决定，暂时在standby上取消远程归档路径：

SQL>alter system SET log_archive_dest_2 = ''

$ srvctl star instance  -d intrac -i int2
$ srvctl status database -d intrac -v

至此，RAC系统恢复正常，此次故障究竟是否是碰到了BUG，还需要进一步的检查和测试来定案。
回到家，老婆早已经睡了，但她说了一句：老公回来了。躺床上久久不能久睡，思维还留在ORA-16009的一些疑问中，唉，又要失眠了。早上老婆问我是不是又3：30回来的，我说很早就回来了，0：30。

-The End-