銀行儲存系統設計方案
1、背景：
某500強銀行目前依然採用CDC傳統的資料中心解決方案，隨著業務的變化和雲端計算技術的的成熟，應用場景和需求變化越來越難以控制，銀行業務高速發展，原有平臺已經滿足不了目前的應用需求的大量迭代，同時裝置和應用的運維挑戰難度極高。基於上述原因，總部決定構建CN大區全新的虛擬化（雲）平臺，採用成熟的虛擬化方案構建VDC基礎設施， 根據我們所學習儲存資訊管理知識，設計一套虛擬化實施方案，考慮到業務的遷移的複雜性，預設不再使用原有裝置(降低設計難度)，因為是銀行業務需要100%的冗餘方案，儘量考慮容災，儲存部分設計按照基礎資料為100PB設計，每年增長30%,設計一個滿足3年的容量規劃方案。 考慮指標點可參考: 儲存網路的架構組成、儲存裝置型別、主機配置（計算和儲存）、網路拓撲、虛擬化後共享儲存容量的規劃、業務部門的劃分等因素。
2、需求分析
1.銀行的五個分割槽，生產業務區、綜合管理區、網銀線上區、產品測試區、運維基礎區，產生的資料主要都是非結構化資料，每個區的許可權與資源分配也應該有些差別，如果虛擬化方案成熟，可考慮直接構建私有云環境。
2.網路拓撲設計需要保證足夠的頻寬，需要注意網路訪問存在著工作的高峰和低谷期。同時，系統設計要考慮硬體冗餘和叢集等設計。
3.銀行對於資料儲存的要求是比較嚴格的，所以對於RPO（恢復點目標）和RTO（恢復時間目標）的要求都較高，所以必須保證RPO接近於0，儘量沒有資料丟失，RTO儘可能小，可以容忍一小段時間的宕機。
4.系統需要具有高擴充套件性，而且以虛擬化部署為主。
5.銀行資料都是很很強的隱私性，所以必須保證資料安全。
3、主要工作目標：
1、目標設計
基礎設施應滿足根據不同業務實現每個分割槽個性化配置；資料儲存應滿足近零的RPO、儘可能小的RTO以及儘可能高的資料完整性和安全性；整個系統應滿足高擴充套件性，並一虛擬化部署為主；容災應滿足業務連續性。
2、儲存方案設計
基礎設施
由於每個分割槽業務不同，因此效能需求和虛擬機器分配數量也就不同，分配方案如下：
1. 生產業務區：銀行的業務總體可以分為需求設計，資產業務、中間業務三類，因為處理的業務較多，且資源消耗量也較大，每類任務都部署一臺配置較高的虛擬機器作為終端伺服器，並需要根據操作員人數分配相應數量的終端，從而滿足每類業務異構性的需求，使一臺伺服器可以對應多臺終端，這樣所需的主機資源數為終端伺服器數與相應終端數的和；
2. 綜合管理區：綜合管理區類似於傳統的資訊管理系統，因為需要進行資訊方面的管理，整個資訊的吞吐量以及資源的需求量都比較大，因此需要為其分配一臺配置較高的虛擬機器作為終端伺服器以及滿足數量需求的虛擬機器；
3. 網銀線上區：網銀線上區承擔銀行的網銀業務，特點是訪問量隨時間變化較為明顯，所以需要根據當前實際網銀業務訪問量動態調整虛擬機器的數量，從而對網銀業務實現負載均衡。同時由於網銀線上區的虛擬機器需要作為Web伺服器使用，因此網銀線上區的伺服器需要承載更高的業務量，這也要求每臺虛擬機器需要更高的配置；
4. 產品測試區：產品測試區需要為銀行的新產品進行測試，但是總的業務量和資源需求比較少，所以為每個產品根據其需求分配一臺伺服器終端伺服器/Web伺服器，在分配時需要根據業務的實際需求，分配配置儘可能與生產環境近似的虛擬機器；
5. 運維基礎區：主要是對上述的幾個區提供運維服務，負責將每個區的資料儲存到主機中，因為運維，運維基礎區需要對生產業務區、網銀線上去、綜合管理區、產品測試區提供運維服務，負責將各區資料儲存到主機中，需要儘可能穩定的網路環境，但是對資源的需求較低，因此直接分配客戶虛擬機器，分別對應生產服務區、綜合管理區以及網銀線上區的虛擬機器。
資料保護
總的來說，應在資料的整個生命週期內進行資料保護。在資料被建立時，應當通過管理制度和技術手段確定資料安全級別；在資料儲存過程中，應當根據不同級別的資料採用不同的技術手段進行資料儲存，敏感資料應分環境，加密儲存；傳輸時，應對資料加密後進行傳輸，並採用加密協議；在資料使用完畢後，確保完善的技術和管理手段監控資料銷燬過程，以防止洩露。
1. 資料分級：
(1) 普通資料：指可以向外部披露的資料，其洩漏一般不會對銀行聲譽以及客戶帶來影響。單一普通級資訊一般被認為不敏感。例如從公開渠道或政府部門獲得的資訊、或者在銀行網站上公佈的資訊。包括客戶存貸款基準利率、交易匯率、交易渠道等；
(2) 輕度敏感：主要是銀行內部使用的資料，一般不被外部使用。該類資料對行內開放而非向公眾釋出。內部使用級資料在非授權情況下的洩漏將會對銀行聲譽以及客戶帶來一定程度的影響。包括客戶編號、客戶所屬機構、客戶所屬部門、個人客戶貢獻度等；
(3) 中度敏感：該級別所涉及的客戶資訊對客戶很具隱私性，但是外部監管沒有明確的監管要求，該資料在非授權情況下的洩漏將會對銀行聲譽以及客戶帶來非常大的影響。包括客戶評級資訊、合約資訊等；
(4) 高度敏感：極度敏感級資料是指涉及組織重要的祕密，關係未來發展的前途命運，或涉及到個人資訊保密要求，法律或國家監管對其披露進行了限制，這些資料在非授權情況下的洩漏將對組織根本利益有著決定性影響，造成災難性損失，導致銀行違反國家相關監管或個人隱私保護等法律法規，同時對客戶將帶及其嚴重的影響。包括個人資產負債情況、賬務資訊、違約記錄、客戶證件資訊、客戶通訊資訊等。
2. 兼用事前預防（預防資料發生洩露）和事後阻斷（識別資料洩露並阻斷）的技術手段：
(1) 事前預防，採用透明加密，終端安全，磁碟加密等技術；
(2) 事後阻斷，採用網路資料防洩露系統（網路DLP），終端資料防洩露等技術。
(3) 給裝置配置較安全的作業系統如AIX和虛擬化環境如OpenStack。
計算規劃
計算儲存成本，首先計算出三個儲存級別的資料量最大可能值：
2年後，總資料量約：100PB*1.3*1.3=169PB , 3年後總資料量約：100PB*1.3*1.3*1.3≈
容量規劃
考慮到銀行的運作模式，根據資料的時效性、業務需求的重要性、儲存系統的效能和價格，採用分層儲存，分為三層——一級儲存、二級儲存、三級儲存，這三層讀寫速度降低，穩定性增強，相同價格下容量增大。
1. 一級儲存：使用2T NVME SSD 磁碟，RAID10陣列（利用率1/2），零RPO同步遠端映象，儲存一個月內使用過的資料。定義一個月內使用過的資料是使用頻繁的資料，需要工作級的儲存——線上儲存，即儲存裝置和所儲存的資料時刻保持線上狀態，可以隨時讀取和修改，以滿足前端應用伺服器或資料庫訪問資料的效能需求。一方面使用NVME SSD磁碟，提高訪問速度；另一方面使用具有三組相同映象集的RAID10陣列，增強資料穩定性和安全性；
2. 二級儲存：使用2T SAS 15000轉磁碟，RAID5陣列（利用率（n-1）/n），分鐘級RPO非同步遠端映象，儲存一月之外一年之內使用過的資料。對使用比較不頻繁的資料使用近線儲存，兼顧儲存效能、資料安全和儲存成本；
3. 三級儲存：使用12T SATA 15000轉磁碟，RAID5陣列，CAS架構，儲存剩餘資料。對一年內未使用過的歷史資料或備份資料進行離線儲存，採用有自愈功能的CAS架構對資料進行歸檔，以降低總體成本，降低儲存管理開銷，保障資料安全完整。
容災規劃
由於在儲存方案設計過程中已經充分考慮了伺服器的儲存備份機制，本地的容災問題通常可以被及時解決，不會導致嚴重的後果。因此，在容災規劃中，重點考慮遇到重大災害，導致本地的系統和資料全部無法及時恢復時，啟用遠端容災方案。要實現完整的異地應用容災，既要包含本地系統的安全機制、遠端的資料複製機制，還應具有廣域網範圍的遠端故障切換能力和故障診斷能力。也就是說，一旦故障發生，系統要有強大的故障診斷和切換策略制定機制，確保快速的反應和迅速的業務接管。由於以虛擬化部署為主，系統並不依賴具體硬體，所以容災規劃不需要考慮物理環境的搭建。不論是各生產系統還是容災中心，只要是具備虛擬化能力的資料中心，都可以部署異地虛擬化容災。
3、網路架構設計
1. 安全架構採用“核心——邊緣”分割槽模組化架構，包括三個功能區：
(1) 網際網路接入區：部署鏈路分擔裝置、流量清洗、外網邊界防火牆；
(2) 業務區：部署網銀線上區服務叢集、RA服務節點、IPS、SSL解除安裝&伺服器負載分擔裝置、內網邊界防火牆；
(3) 資料中心內網區：部署生產業務區、綜合管理區、產品測試區、運維基礎區服務叢集。
4、虛擬化（雲）方案
採用分散式儲存技術，使用OpenStack私有云平臺提供服務，計算儲存耦合聯動，實現整體架構上的分散式。應用OpenStack雲管理架構的三大儲存模組：
(4) Cinder支援儲存複製：雲管理員可以定義儲存策略來支援複製功能；
(5) Glance的多地域支援：新的映像選擇策略，允許Glance映像服務選擇最優的後端儲存空間；
Swift的容備：全域性分散式叢集特性異地容災，主中心災難後，在另外的資料中心有所有資料的副本；業務級雙活/多站點共享：資料在一個數據中心儲存，在另外一個數據中心可以快速訪問到。將災備範圍擴大到整個Animbus OpenStack雲，通過對控制節點元資料的複製，恢復一個完整的雲環境，以及雲上的所有元件和業務系統，使得RTO儘可能小（若干秒）。