安全資訊

醫院管理信息系統 (Hospital Information System,HIS) 有廣義和狹義之分。廣義的醫院 HIS 是醫院管理和醫療活動(dòng)中進(jìn)行信息管理和聯(lián)機操作的計算機應用系統的統稱(chēng)；狹義的醫院 HIS 單指醫院門(mén)診及住院信息管理業(yè)務(wù)系統。而本文所述 HIS 系統通指其狹義概念。

醫院 HIS 作為醫院最重要的信息系統，其穩定、可靠、高效運行以支持醫院業(yè)務(wù)發(fā)展需要是醫療信息化研究的重要方向。隨著(zhù)信息技術(shù)日新月異的發(fā)展及醫院業(yè)務(wù)需求的不斷擴展，如何采用新技術(shù)和新架構促成醫院 HIS 系統的軟硬件升級與改造已然成為國內眾多醫院亟待解決的重要課題。

本文根據某三甲醫院 HIS 系統升級改造的案例，詳細進(jìn)行闡述分析，以期提供相應的經(jīng)驗分享。

一、背景介紹

該院 HIS 系統采用的是 C/S 架構，數據庫服務(wù)器為兩臺 2010 年采購的 P570 服務(wù)器，所用存儲為 IBM DS4800 。服務(wù)器上所采用的操作系統平臺為 AIX 5.3 ，數據庫為 Oracle 9i ，版本為 9.2.0.8 。服務(wù)器采用 AIX 的雙機集群 HACMP 以及 Oracle RAC ，將兩臺服務(wù)器做成了一個(gè)群集，底層 DS4800 存儲通過(guò) RemoteMirror+FlashCopy 實(shí)現兩個(gè)機房間的兩臺存儲之間的遠程物理層面的容災。容災環(huán)境由一臺 P550 服務(wù)器接管，該服務(wù)器通過(guò) Oracle Data Gurad 方式實(shí)現 Oracle 數據庫的邏輯容災， HIS 架構如圖 1 所示。

圖 1 HIS 架構

二、存在問(wèn)題及升級改造的需求分析

1 、架構需優(yōu)化

HIS 系統作為最重要的業(yè)務(wù)系統，系統的建設目標是追求 RTO 和 RPO 均等于 0 。由上述架構可知，由于當時(shí)的技術(shù)限制，雖然架構上考慮到物理層及數據邏輯層的容災，但是無(wú)法實(shí)現 RTO 和 RPO 均等于 0 。物理層面上，兩臺 DS4800 之間通過(guò) RemoteMirror+FlashCopy 實(shí)現同步容災，可實(shí)現 RPO 等于 0 ，但是因為容災存儲及服務(wù)器的啟用仍需要進(jìn)行相應的切換操作才可使容災環(huán)境支持業(yè)務(wù)系統，理論 RTO 時(shí)間為 5-10 分鐘；而邏輯層面上，因為 Oracle Data Guard 的配置因素，生產(chǎn)及容災環(huán)境之間的數據一致性依賴(lài)于生產(chǎn)數據庫的在線(xiàn)及離線(xiàn)日志是否正常傳輸至容災服務(wù)器，而突發(fā)的意外宕機極有可能損失一部分日志文件，并且容災環(huán)境的啟用也需要比較復雜及專(zhuān)業(yè)的環(huán)境切換操作，故 RPO 及 RTO 均不可能等于 0 。

除此之外，容災體系也不夠全面完善。雖然 Oracle 9i 的 Data Gurad 可支持對 Oracle 數據邏輯層的回退操作，但是其前提是相應的離線(xiàn)日志尚未被 recover 恢復。如果已執行 recover 恢復，則無(wú)法實(shí)現相應的回退目標，致使無(wú)法實(shí)現業(yè)務(wù)的回退容災，存在相當的風(fēng)險隱患，需要引入諸如全量備份、增量備份及持續數據保護 CDP 等方式加強數據的邏輯層保護。

2 、性能需優(yōu)化

主機性能方面，通過(guò) AIX nmon 工具對醫院 HIS 的兩臺服務(wù)器進(jìn)行監控分析發(fā)現，單臺服務(wù)器 Power6 CPU 的總核數為 16 核，平均使用率在 80% 以上，高峰達到 90% ， 64G 內存使用也在 90% 左右。如果兩臺服務(wù)器中的其中一臺出故障，另外一臺在如此壓力之下無(wú)法勝任支撐業(yè)務(wù)系統的要求，相對配置更低的容災服務(wù)器 P550 更加無(wú)法滿(mǎn)足業(yè)務(wù)系統容災的需要。網(wǎng)絡(luò )吞吐方面，數據庫的兩個(gè)實(shí)例間的心跳網(wǎng)絡(luò )為千兆網(wǎng)絡(luò )， HIS 高峰業(yè)務(wù)期心跳網(wǎng)絡(luò )的吞吐量長(cháng)期維持在 80-100M/S ，已經(jīng)達到了千兆網(wǎng)絡(luò )的瓶頸速度。磁盤(pán) IO 方面， DS4800 的存儲配備的是 10k 的 SAS 盤(pán)，總共 32 塊盤(pán)，每 8 塊做 raid5 形成一個(gè) raid 組，每個(gè) raid 組分配一個(gè) lun 給服務(wù)器提供存儲，通過(guò)存儲監控工具及主機 nmon 的分析可知，存儲的總體 IO 也在 80% 以上，存在瓶頸需要優(yōu)化。

3 、數據庫需優(yōu)化

當前 HIS 的數據庫版本為 Oracle 9208 ，屬于 Oracle 較舊的軟件版本，其數據庫訪(fǎng)問(wèn)速度、支持的訪(fǎng)問(wèn)需求、容錯和安全、性能監控及數據庫管理方面均無(wú)法勝任醫院日益增長(cháng)的業(yè)務(wù)需求。而且該版本官方早已停止發(fā)布更新，數據庫層面存在漏洞無(wú)法更新、 bug 問(wèn)題無(wú)法得到支持的窘境。

4 、管理與功能需優(yōu)化

隨著(zhù)醫院業(yè)務(wù)的不斷擴展， HIS 系統也要頻繁進(jìn)行更新與升級，這就要求有近似生產(chǎn)環(huán)境的測試環(huán)境進(jìn)行功能及性能方面的全面測試，以保障更新與升級的順利進(jìn)行。醫院現有架構無(wú)法實(shí)現近似生產(chǎn)環(huán)境的快速部署。除此之外，因為 HIS 容災環(huán)境的機械性，導致 HIS 系統的一些大數據量的查詢(xún)及分析的需求只能壓在生產(chǎn)環(huán)境，從而導致生產(chǎn)環(huán)境壓力過(guò)大，不利于日常業(yè)務(wù)的穩定與高效運行。

三、醫院 HIS 系統升級改造平臺的架構設計

基于上述 HIS 系統架構存在問(wèn)題、痛點(diǎn)及迫切改進(jìn)的需求，采用現有主流先進(jìn)的軟硬件產(chǎn)品和技術(shù)，對醫院現有 HIS 系統進(jìn)行升級改造，升級改造的整體架構設計如圖 2 所示。

存儲層面上，采用現今主主流的存儲雙活技術(shù)，在醫院生產(chǎn)及容災的兩個(gè)機房，分別放置一套 EMC VPLEX 雙活網(wǎng)關(guān)及 EMC VMAX 250F 全閃存儲，形成雙活集群。存儲配置高速 SSD 磁盤(pán)，為業(yè)務(wù)提供高 IOPS 。每個(gè)機房放置一套 EMC RecoverPoint 并使用原來(lái)生產(chǎn)存儲 IBM DS4800 作為其存儲空間，提供實(shí)時(shí)的數據保障，可提供任意時(shí)間點(diǎn)的、 IO 級、秒級的恢復保障，彌補了原來(lái)容災架構的不足，可應對物理部件故障及邏輯故障等多重風(fēng)險。

主機層面上，采用兩臺浪潮商用機器有限公司的 K1 Power E870 小型機作為生產(chǎn)主機，并配備多張萬(wàn)兆網(wǎng)卡，通過(guò)心跳萬(wàn)兆交換機互聯(lián)形成集群，突破原來(lái)集群心跳帶寬的瓶頸限制。單臺 K1 Power E870 的主要配置為： 64-core 4.02GHz Power8 CPU/512GB DDR4 內存 /4 塊 775GB SSD 磁盤(pán)，整體服務(wù)器性能是原有配置的 4 倍多，主機配置的 4 個(gè) SSD 磁盤(pán)為主機 AIX 操作系統提供高 IO 的存儲空間，防止了設備的短板。

數據庫層面上，將原來(lái)的 Oracle 9i 升級成為 Oracle 11g ，并重做數據庫 Data Guard 。采用 11g 的 ADG 功能，把 DG 數據庫置為只讀數據庫，并修改 HIS 應用指向，分擔業(yè)務(wù)數據庫的壓力。業(yè)務(wù)數據庫原來(lái)采用裸設備的方式存放數據文件，升級成 11g 改成自動(dòng)存儲管理 ASM 功能，可以大幅減少維護的工作量，并減少誤操作的風(fēng)險。 11g 的其它優(yōu)點(diǎn)包括：

① 支持自動(dòng)壞塊檢測和修復，可以通過(guò) DG 可以自動(dòng)修復生產(chǎn)數據庫的壞塊；

② 提供數據庫回收站和閃回功能，具有一定的預防邏輯錯誤能力；

③ 提供數據庫 AWR 性能監控，相比 9i 的 Statspack 能更詳細更直觀(guān)找到數據庫潛在瓶頸和 TOP SQL ；

④ 提供自動(dòng)內存管理 AMM 功能，能自適應管理內存，簡(jiǎn)化數據庫管理。

容災層面上，上述雙活存儲及雙機集群均為物理層面上的容災冗余，可有效應對存儲、主機及操作系統等物理層面上的宕機或故障風(fēng)險。數據庫邏輯層面上，通過(guò)原來(lái)生產(chǎn)的兩臺 P570 作為容災主機，容災機房的 IBM DS4800 作為容災存儲，構建 Oracle 11g 的 Data Gurad ，以應對數據庫邏輯故障風(fēng)險。除此之外，通過(guò) EMC RecoverPoint ，對 HIS 數據進(jìn)行持續保護，設置備份策略，為系統提供歷時(shí)數據的備份、實(shí)時(shí)的數據保護及任意時(shí)間點(diǎn)的、 IO 級、秒級的恢復保障，可應對物理部件故障及邏輯故障等多重風(fēng)險，極大完善現有 HIS 容災架構。新架構 RTO/RPO 接近于 0 。

圖 2 醫院 HIS 系統升級改造平臺架構設計

四、醫院 HIS 系統升級改造硬件 + 軟件難點(diǎn)分析

醫院 HIS 系統升級改造的目標是結合醫院的 HIS 系統實(shí)際需求，通過(guò)迄今為止最優(yōu)化的軟硬件技術(shù)及方案，為系統提供更穩定的架構和更高效的性能，為運維管理人員提供更便捷的管理和更全面的系統功能，為用戶(hù)提供更流暢的系統體驗。醫院 HIS 系統升級改造涉及存儲、主機、操作系統、數據庫、網(wǎng)絡(luò )、上層應用及容災架構等方方面面，任何一方面考慮不周或存在瓶頸，會(huì )使得整體的系統升級改造存在短板瓶頸，甚者導致升級改造項目的功虧一簣。如何做好升級改造，兼顧升級改造的方方面面內容，最重要的是要做好全面、客觀(guān)并有效的系統分析，解決攻克升級改造過(guò)程中遇到的硬件 + 軟件的難關(guān)。下面，結合醫院的 HIS 系統升級改造的設計實(shí)踐，對醫院 HIS 系統升級改造硬件 + 軟件的難點(diǎn)進(jìn)行詳細分析。

1、做好現有環(huán)境的全面分析，為升級改造提供可靠依據

升級改造要做好，現有環(huán)境的全面分析是前提。如何做好現有環(huán)境的全面分析，具體來(lái)說(shuō)就是要明確現在系統硬件 + 軟件環(huán)境的客觀(guān)情況、存在問(wèn)題、未來(lái)業(yè)務(wù)發(fā)展需求、現有可實(shí)行的軟硬件升級改造技術(shù)及方案、升級改造的要求與條件、升級改造的難點(diǎn)及可實(shí)行的解決辦法等。

立足醫院 HIS 系統本次的升級改造，全面分析工作包括：

① 現有 HIS 系統的軟硬件情況的詳細了解。存儲層面上，包括存儲型號、磁盤(pán)類(lèi)型、是否有用快照復制等備份技術(shù)、存儲最大 IOPS 及吞吐量、存儲池 /RAID/LUN/HOST GROUP 等配置情況；光纖交換機層面上，包括光纖交換機模塊速率、剩余模塊數量、級聯(lián)情況、 alias/zone 等配置情況；主機層面上，包括 CPU 的類(lèi)型、核數、主頻及使用情況，內存的類(lèi)型、大小及使用情況，磁盤(pán)類(lèi)型、負載、 PV/VG/LV/fs 等 LVM 管理情況，網(wǎng)卡類(lèi)型、速率及負載， HBA 卡的類(lèi)型、速率及負載，其它主機配置情況如 PCI 、串口線(xiàn)等；操作系統層面上，包括用戶(hù)、組、 IP 網(wǎng)絡(luò )、防火墻、訪(fǎng)問(wèn)控制列表、磁盤(pán) / 網(wǎng)卡 /HBA 卡 / 系統環(huán)境參數等系統配置參數的具體情況；數據庫層面上，包括數據庫版本及補丁、數據庫用戶(hù)、數據量大小、表空間及數據文件、臨時(shí)文件、在線(xiàn)及離線(xiàn)日志配置情況、表 / 索引 / 存儲過(guò)程 / 觸發(fā)器 / 序列 /DBLINK 等數據庫對象的情況、數據庫 job 情況等；網(wǎng)絡(luò )層面上，交換機接口速率、網(wǎng)絡(luò )接口類(lèi)型（電口 / 光纖）及剩余口等情況；容災層面上：物理層、邏輯層、數據層及應用層等容災方式建設情況，各種風(fēng)險應對措施及應急方案情況。

值得提出的是，系統的軟硬件情況的詳細了解是一個(gè)整體的過(guò)程，例如系統的 IO 性能，不僅要通過(guò)存儲專(zhuān)業(yè)的監控軟件對系統存儲的使用情況做一個(gè)長(cháng)期的監控及評估，而且還要從主機 AIX 操作系統層面通過(guò)諸如 nmon 等監控工具以及數據庫 Oracle 層面上通過(guò) Statspack 監控系統 IO 的整體性能，綜合多個(gè)層面多個(gè)角度的數據，客觀(guān)分析系統現有情況。

② 現有 HIS 系統存在問(wèn)題及未來(lái)業(yè)務(wù)發(fā)展需求分析

詳細了解 HIS 系統現有架構、配置、性能等情況后，列出 HIS 系統存在問(wèn)題清單，結合醫院業(yè)務(wù)發(fā)展趨勢，預估醫院未來(lái)業(yè)務(wù)增長(cháng)對系統的要求，包括醫院未來(lái)新上線(xiàn)系統的對接要求、互聯(lián)網(wǎng) + 醫療如微信、支付寶、銀聯(lián)、配藥等業(yè)務(wù)模式擴展對系統的壓力要求等，列出 HIS 系統未來(lái)性能瓶頸清單，結合兩者，為后續升級改造的架構設計提供參考。

③ 現有可實(shí)行的軟硬件升級改造技術(shù)及方案分析

對不同廠(chǎng)家、不同品牌的軟硬件產(chǎn)品、技術(shù)及方案進(jìn)行審慎評估，結合醫院 HIS 實(shí)際，對各類(lèi)軟硬件廠(chǎng)家技術(shù)及方案進(jìn)行綜合考量，列出不同技術(shù)及方案的優(yōu)缺點(diǎn)，為后續架構設計及設備選型提供參考

④ 升級改造的要求與條件、難點(diǎn)及可實(shí)行的解決辦法分析

升級改造涉及機房配電環(huán)境、地板承重、機柜空間、綜合布線(xiàn)、不同機房間的網(wǎng)絡(luò )鏈路、網(wǎng)絡(luò )網(wǎng)口、升級改造項目完成時(shí)間、切換停機窗口時(shí)間等要求和條件，要充分評估升級改造的要求、風(fēng)險及難點(diǎn)，擬定升級改造風(fēng)險應對表，做好升級改造的風(fēng)險應對。

2、做好升級改造架構的設計，為升級改造指明方向

升級改造要做好，架構的科學(xué)設計是關(guān)鍵。架構的設計要充分結合現有環(huán)境的全面分析的結果，充分評估業(yè)務(wù)未來(lái)需求的增長(cháng)、升級改造的要求與條件、現有先進(jìn)技術(shù)及方案等多方面內容。架構設計應體現架構穩定可靠、方法科學(xué)、技術(shù)先進(jìn)、體系完備、性能卓越和有一定的前瞻性的原則，邀請國內外知名的醫療 IT 專(zhuān)家對醫院現有 HIS 架構進(jìn)行整體設計與咨詢(xún)，為后續升級改造指明方向。

3、做好設備選型，為升級改造提供可靠設備支持

升級改造要做好，合理的設備選型是重要基礎。架構設計完成后，在項目預算范圍內，選擇哪種技術(shù)，如雙活存儲架構方面包括了 EMC VPLEX 和 IBM SVC 的硬件虛擬化網(wǎng)關(guān)方式 /HDS 高端存儲虛擬化軟件方式；選擇哪種設備，如存儲方面包括了 EMC Vmax F 全閃系列 /HDS F 系列等，主機方面包括了 K1 Power E870 小型機 / 富士通 M12-2S/HP Unix 小型機；選擇哪種數據庫升級遷移方式，包括 GoldenGate/RMAN/ExpImp 導入導出方式等。設備選型要結合現有環(huán)境選擇方案最先進(jìn)、產(chǎn)品最穩定、性能最優(yōu)越、經(jīng)濟效益最優(yōu)化、升級改造工作最簡(jiǎn)化平穩的設備。

4、做好升級改造方案，為升級改造提供可靠技術(shù)路線(xiàn)

升級改造要做好，方案的細化及落實(shí)是重點(diǎn)也是難點(diǎn)。升級改造涉及系統的方方面面，方案既要統籌兼顧，又要細化可落實(shí)。存儲層面，如何劃分存儲池 /RAID 組 /LUN/Host ，快照、精簡(jiǎn)等存儲功能如何配置使用；操作系統層面上， AIX 系統安裝何種版本，文件系統如何劃分，計算內存及非計算內存、存儲的隊列深度等系統關(guān)鍵參數如何配置，網(wǎng)卡是否聚合綁定等；數據庫層面上，升級改造后的 Oracle 11g 版本與 HIS 應用的兼容性風(fēng)險問(wèn)題，升級改造后的 HIS 系統與醫院其它系統通過(guò) DBLINK 的存儲過(guò)程進(jìn)行數據交互的兼容性問(wèn)題，與醫院在用的 Oracle 9208 客戶(hù)端之間的兼容性問(wèn)題等。升級改造方案制定后需要搭建與現有生產(chǎn)環(huán)境一致的測試環(huán)境進(jìn)行完備的測試，包括系統參數設置的測試確認、功能測試、性能的測試等，方案的所有內容需要測試確認后方可作為最終升級改造的切換方案進(jìn)行實(shí)施。另外，要反復測試確認升級改造切換的停機所需時(shí)間，所有切換操作形成可執行命令行及步驟，確保停機時(shí)間窗口盡可能短。

五、醫院 HIS 系統升級改造項目經(jīng)驗總結

1、要預留充足的預算

醫院 HIS 系統升級改造涉及軟硬件方方面面，而且其中涉及數據庫升級及應用層面的配合改造等服務(wù)，并且要預留一定的預算作為風(fēng)險應對及應急資金儲備，所以整個(gè)項目需要有充足的預算，為項目的推進(jìn)提供保障。

2、要挑選可靠的集成商

醫院 HIS 系統升級改造項目涵蓋了存儲、主機、網(wǎng)絡(luò )、數據庫等多方面，要挑選有資質(zhì)、有能力、有經(jīng)驗且可靠的集成商進(jìn)行項目升級改造，好的集成商可使得項目少走彎路，達到事半功倍的效果。

3、要發(fā)揮專(zhuān)家咨詢(xún)的作用

邀請國內外知名的醫療 IT 專(zhuān)家形成項目專(zhuān)家庫，專(zhuān)家庫應涵蓋架構、存儲、主機、網(wǎng)絡(luò )、數據庫等多方面，從醫院 HIS 的現狀分析、架構的設計、到設備的選型及升級改造方案的制定，每個(gè)流程都應該發(fā)揮專(zhuān)家咨詢(xún)的作用，穩定推進(jìn)項目的開(kāi)展。

4、要做好嚴格的測試

升級改造的方案越細化，失敗的風(fēng)險就越低，而細化的方案的制定離不開(kāi)嚴格的測試，不管是存儲主機及網(wǎng)絡(luò )的配置、亦或是系統參數的配置，還是操作命令及步驟的確認，都應該通過(guò)嚴格的測試，確保方案可行、步驟合理、操作可用。