UISE0802有一個節點所有硬盤異常

硬盤物理故障了？

節點所有硬盤異常的修複步驟如下（請按順序操作）：

1. 基礎檢查與維護模式操作

• 檢查存儲狀態
  登錄節點後台執行：

  ceph -s # 確認存儲集群健康狀態
  • 若集群整體健康（Health_OK），但前台顯示異常 → 可能為前台服務異常，跳到步驟3。
  • 若部分OSD異常 → 繼續執行後續步驟。

• 進入維護模式
  在UIS管理界麵將節點進入維護模式（操作前需遷移虛擬機）：

  # 節點後台執行命令同步時間並重啟 sync && hwclock -w && shutdown -h now

  📌 注意：
  若節點有業務虛擬機無法停機 → 先遷移虛擬機至正常節點，再進入維護模式。

2. 硬盤異常處理

場景1：前台顯示異常（物理盤實際正常）

• 重啟進程
  執行以下命令修複前台顯示：

  supervisorctl restart onestor-peon # 重啟存儲管理進程 service apache2 restart # 重啟Web服務

• 檢查殘留掛載點
  若此前換盤未卸載舊OSD：

  mount | grep osd # 檢查異常OSD掛載點 umount /var/lib/ceph/osd/ceph-{異常OSD編號} # 手動卸載殘留掛載點

場景2：物理硬盤故障

• 更換故障硬盤
  按《部件更換指導》操作：
  1. 在UIS界麵刪除故障硬盤（路徑：主機管理 > 選擇主機 > 更多操作 > 刪除主機）。
  2. 物理更換硬盤後，通過RAID工具配置新盤（如作RAID0/JBOD）。
  3. 在界麵重新發現主機並加入集群。

3. 高級修複（若上述無效）

• 強製刪除殘留OSD
  後台手動刪除故障OSD（需謹慎）：

  ceph osd crush remove osd.{ID} # 移除CRUSH映射 ceph auth del osd.{ID} # 刪除認證密鑰 ceph osd rm osd.{ID} # 刪除OSD ceph-disk zap /dev/{磁盤名} # 格式化磁盤

• 數據庫殘留清理
  若前台仍顯示異常硬盤（PostgreSQL殘留數據）：

  sudo -u postgres psql calamari # 進入數據庫 SELECT * FROM op_cluster_disk WHERE host_name='節點名'; # 查詢異常硬盤 DELETE FROM op_cluster_disk WHERE sn='異常硬盤SN號'; # 刪除殘留記錄

4. 驗證恢複

• 重啟節點後檢查：ceph -s # 確保集群狀態為`Health_OK` lsblk # 確認所有硬盤識別正常 ntpstat # 檢查時間同步狀態
• 在UIS界麵確認：
  1. 節點狀態恢複正常。
  2. 存儲界麵無"clock skew"或"緩存異常"告警。

⚠️ 重要說明

1. 數據備份：操作前確保業務數據已備份。
2. 多節點異常：若多個節點故障，需逐個修複，避免同時操作。
3. 技術支持：若以上步驟無法解決 → 立即聯係H3C技術支持（400-810-0504），提供以下信息：
   • ceph -s 輸出
   • /var/log/ceph/ 日誌
   • 操作前後的UIS界麵截圖

📘 參考文檔：

• UIS應急故障恢複指南
• 部件更換配置指導（5W120）