紀錄工作經驗、相關知識,解決技術相關問題。

工作雜談, 網站相關, 資訊相關

HA 是什麼?高可用性系統架構與故障切換設計實務

HA 是什麼?高可用性系統架構與故障切換設計實務 特色圖片

服務只跑在一台主機上,那台主機一出問題,服務就跟著停。HA(高可用性)是為了避免這件事而做的架構設計:多準備幾個節點,一台故障時由其他節點自動接手。

HA 是什麼?

HA 是 High Availability 的縮寫,中文稱為高可用性。做法是把服務放在兩台以上的節點(node)組成的叢集(cluster)上,其中一台故障時,由其他節點自動接手,使用服務的人感覺不到有機器壞了。這個自動接手的動作叫故障切換(Failover),Microsoft 與 AWS 的繁體中文文件寫作「容錯移轉」。

HA 要消除的是單點故障(SPOF)。做得好不好,則用可用性百分比(俗稱「幾個 9」)衡量,這個數字通常寫在服務等級協議(SLA)裡。

HA 和單機架構、分散式架構差在哪

傳統的單機架構把服務放在一台主機上,這台主機壞了,服務就停到修好為止。HA 叢集是替同一個服務多準備節點,目的是故障時有節點能接手。分散式架構的出發點不同:依 AWS 的說明,它是讓多部電腦一起處理同一個問題,對外看起來像一部電腦,需要更多處理能力時就加節點。

單機架構、HA 叢集與分散式架構的差異
圖:單機架構、HA 叢集與分散式架構的差異
比較項目單機架構HA 叢集分散式架構
節點數一台兩台以上多台
各節點做什麼一台做全部工作跑同一個服務,互為備援各自處理一部分工作,用訊息傳遞協調
重點架構單純服務不中斷擴充處理能力
一台故障時服務中斷其他節點接手(故障切換)其餘電腦繼續運作
額外要處理的事無故障偵測、仲裁、隔離故障節點各節點之間的資料一致性

HA 和分散式並不互斥。AWS 把個別電腦故障時系統仍能繼續運作,列為分散式運算的優勢之一,靠的同樣是多節點。

一台節點故障時,HA 叢集與分散式架構的反應
圖:一台節點故障時,HA 叢集與分散式架構的反應

差別在出發點。HA 叢集先求不中斷:以一主一備的配置來說,待命的那台平時不處理工作,多一台並不會多一份處理能力。分散式架構先求把工作分出去,每一台平時都在做事,可用性是多節點順帶得到的好處。

HA 架構怎麼運作:故障切換(Failover)流程

以 Red Hat 的 Pacemaker 叢集與 Windows Server 容錯移轉叢集的官方文件來看,一次故障切換大致經過這幾步:

HA 故障切換(Failover)流程圖
圖:HA 故障切換(Failover)流程圖
  1. 持續送出活動訊號(Heartbeat):節點之間不斷互送訊號,確認彼此還活著。Microsoft 文件提到,叢集通常會把活動訊號和叢集管理放在專用的內部網路,和用戶端存取的網路分開,避免外部流量干擾。
  2. 偵測到故障:收不到某個節點的訊號,或監視到某個服務異常時,叢集就判定出了問題。只是服務異常的話不一定要換節點,Windows Server 的做法是重新啟動該服務,或把它移到另一個節點。
  3. 仲裁(Quorum):叢集用投票決定誰能繼續運作,只有握有過半票數的那一邊可以繼續提供服務。
  4. 隔離故障節點(Fencing):失聯的節點不一定真的壞了,可能只是網路斷線,本身還在寫入資料。因為聯絡不上它,沒辦法請它自己停手,Red Hat 文件的做法是用外部的 fence device 切斷它對共用資源的存取,或直接強制重新開機。這個機制在 Pacemaker 裡叫 STONITH。Fencing 完成之前,叢集不會進行其他操作。
  5. 其餘節點接手服務:隔離完成後,服務在另一個節點啟動,工作負載轉移過去。

除了叢集,DNS 層也能做故障切換。Amazon Route 53 會檢查資源的運作狀態,發現某個資源狀況不良,就不再把它放進 DNS 查詢的回應,只回應正常的資源。

Active-Passive 與 Active-Active 的差異

叢集裡的節點平常是不是全部都在服務,分成兩種模式。Microsoft 文件把被動節點稱為待命(Standby)節點,所以 Active-Standby 和 Active-Passive 講的是同一種模式。

比較項目Active-Passive(主動-被動)Active-Active(主動-主動)
平常誰在服務只有主動節點,被動節點待命所有節點同時處理工作負載
節點故障時啟動待命節點,接手故障節點的工作其餘節點繼續處理,整體容量暫時下降
資源利用率待命節點閒置,硬體沒有用滿所有節點都在運作,利用率高
建置與維護通常比較容易較複雜,應用程式要能多節點同時運作
適合的情境穩定性與可預測性比效率重要的應用想把現有資源用滿、需要較高輸送量的服務

Active-Passive(主動-被動模式)

一個主動節點處理所有請求,一個或多個被動節點待命。偵測到故障時,叢集啟動待命節點來承接工作。

Active-Passive 的運作架構與資料流向
圖:Active-Passive 的運作架構與資料流向

Active-Active(主動-主動模式)

所有節點同時運作,一起分擔請求。某個節點故障時,剩下的節點繼續服務,只是可用容量會少掉一塊,所以規劃時要確認剩餘節點撐得住全部流量。

Active-Active 系統的負載分流與請求處理資料流
圖:Active-Active 系統的負載分流與請求處理資料流

兩種模式怎麼選

Red Hat 文件在說明叢集儲存時提到,多數應用程式不是為了「同時跑好幾份」而設計的,放在 Active-Passive 效果比較好。要用 Active-Active,應用程式本身得支援叢集(cluster-aware),多個節點同時存取儲存時還需要額外的鎖定機制來協調,而協調本身會吃效能。

所以應用程式沒有針對多節點同時寫入設計過的話,先選 Active-Passive。

腦裂(Split-Brain)是什麼、怎麼防範

腦裂是指叢集被切成彼此無法通訊的幾塊,每一塊都以為自己是正在服務的那一邊,各自繼續運作。兩邊如果寫入同一份資料,就可能造成資料不一致或損毀。

雙節點叢集是典型的例子:兩個節點之間的網路斷了,但兩台機器本身都正常。被動節點收不到活動訊號,判定主動節點故障而接手,結果同時出現兩個主動節點。

防範做法有三種,通常會一起使用:

  • 仲裁(Quorum)採多數決:每個節點有一票,必須有過半票數在線,叢集才能運作。Red Hat 文件的例子是 6 個節點的叢集至少要有 4 個節點正常。票數不過半的那一邊會停止服務,Pacemaker 預設會停掉所有資源。
  • 偶數節點加上見證(Witness):兩個節點各一票,斷線後誰都拿不到過半。Microsoft 建議讓投票成員維持奇數,節點數是偶數時加一個見證來多一票。Windows Server 的見證有雲端見證、磁碟見證、檔案共用見證三種。
  • Fencing:Red Hat 的叢集把仲裁和 Fencing 搭配使用來避免腦裂。Red Hat 文件寫明,沒有設定 fence device 就無法保證資料完整性,Red Hat 也不支援這種設定。

節點之間的通訊線路本身也要備援。Pacemaker 叢集裡負責節點通訊的 Corosync 支援多條備援連線並自動切換,一條線路斷了,還有另一條可以傳訊號。

HA 架構的組成:冗餘、負載平衡與監控

要能故障切換,得先有備援的節點可以切過去。節點以外的元件也要有備援,否則它們會變成新的單點。

HA 架構的硬體冗餘、資料冗餘與監控
圖:HA 架構的硬體冗餘、資料冗餘與監控
  1. 硬體冗餘:主機、網路交換器、儲存設備都準備兩套以上,逐一檢查網路、運算、儲存各層有沒有單點。
  2. 資料冗餘:用資料同步讓接手的節點拿得到最新資料,儲存層可以用 RAID 配置保護磁碟,再加上異地備份。備份要定期做還原演練,確認真的還原得回來。
  3. 負載平衡(Load Balancing):把請求分到多台伺服器,並用健康檢查(Health Check)把故障節點移出服務清單。Red Hat 的 High Availability Add-On 可以搭配 HAProxy,在第 4 層(TCP)與第 7 層(HTTP、HTTPS)提供負載平衡與故障切換。
  4. 監控和警示:持續追蹤節點與服務的健康狀態,異常時發出通知。就算自動切換成功,也要有人知道並把壞掉的節點修好,否則叢集會一直處在少一個節點的狀態。

參考資料與延伸閱讀

發佈留言