一次“惊心动魄”的服务器接管实战

2019-09-02 14:08:39  来源:互联网

摘要:作为医院信息中心的运维人员,做的最多的工作就是日常巡检、故障恢复。只要办公室的电话铃一响,“战斗”就打响了。
关键词: 医院信息化
       作为医院信息中心的运维人员,做的最多的工作就是日常巡检、故障恢复。只要办公室的电话铃一响,“战斗”就打响了。

  只是,这次响的不是电话铃...

平地惊雷,机房传来“爆炸声”
  8月20日8点50分,完成例行检查的我正在办公室里查看软件的运行情况,突然被机房的两声巨响打断了。开始还以为上面在搞装修,但UPS发出的“滴滴”警报声让我感觉情况不妙,立马跑到机房,刚打开门就闻到浓重的烧焦的味道。糟了,不知道哪个设备出问题了。

  展开巡查,服务器、核心交换机等设备都在正常运行,一颗心终于放回了肚子里。查看UPS故障代码002,估计是配电房的工作人员操作不当,导致2台UPS保险丝同时烧坏了。

  UPS显示电池还可以继续供电6小时,用万用表测量了电源输入输出电压,均正常。给UPS电源的经销商和厂家售后打电话,在厂家的远程指导下查找故障,经排查后,推断UPS设备已经损坏,需要工程师上门维修。厂家的工程师因路途遥远不能在短时间内到达现场,因此,需要将机房的电路在UPS电池耗尽前切换到市电供电。

\
 

切换用电,启动应急预案
  做我们这行的都知道,在医院的机房,切换用电绝不是像在家里换个插座似的那么简单。
  首先,将机房UPS电源损坏情况上报医院领导,并通知全院职工,因为切换用电可能需要2个小时,请大家在此期间,采用应急预案,做好手工开处方和收费的准备。
  中午12点,关闭所有设备和插座开关,切断供电,将UPS输出电源线从电源输入配电柜转接到输出配电柜,切换到市电供电。
  市电接通后,反复测量输出电压220V正常,逐步打开所有设备电源。
  核心交换机OK;
  备份服务器OK;
  PACS服务器OK;
  虚拟服务器OK;
  ......
  HIS服务器开机启动失败!!!

  祸不单行,服务器硬件故障
  Loading Drivers Now
  Scanning system, connecting boot device(s)
  <F12>Select Boot Device

  按F12,系统毫无反应,找不到启动设备。

  咨询了服务器的售后工程师,又被雷劈了一下——“主板故障”!

  祸不单行这个词怎么就跑到我们医院了呢。

  此时已是下午2点,时间在分秒流逝,而我却忙得“毫不知情”。

  突然想起来我们的备份软件(UPM的备特佳)是有业务接管功能模块的,于是赶紧联系了软件厂商——和力记易的工程师。(备注:北京和力记易科技有限公司,简称UPM,国内老牌的数据备份与恢复软件厂商,医疗卫生领域容灾备份解决方案的专家型企业)

  在和力记易(UPM)工程师的远程指导下,我在暂停了备特佳软件的实时备份后,启动了SQL Server服务,将灾备服务器的IP地址修改成了HIS生产服务器的IP地址。之后,附加银医通数据库YxBankBCM、YxWePay,几分钟后,灾备服务器成功接管了HIS服务。

  走廊里遇到医院门诊的同事,他问我不是说要启动应急预案吗?我看现在业务挺正常的啊。我笑着说多亏找了个“好保镖”。

  虽然接下来还要维修UPS电源和服务器,但好在眼前的难关已经过去了,我非常感谢备特佳容灾备份软件的保驾护航,在关键时刻“临危受命”,不负重托,使得医院的关键业务系统能够保持连续运行。等硬件完成维修之后,我再联系和力记易(UPM)的工程师,将备份机的数据恢复到生产服务器。

  医院信息化建设是一个系统的大工程,保障各个信息系统的正常运行是一项艰巨而又富有挑战的工作。在经历了这次“惊心动魄”的实战之后,我不由得感叹,世事无常,有备无患方能“化险为夷”。






责编:chenjian