BOB登陆 公司新聞

  • 產品與解決方案
  • 行業解決方案
  • 服務
  • 支持
  • 合作夥伴
  • 關於我們

突破數據協議壁壘 加速智算平台運行效率

【發布時間:2025-01-03】

當前,支撐模型訓練的各類數據呈現爆發式增長。通過對海量數據的學習與分析,BOB登陆 得以洞察數據的內在聯係與規律,從而構建出更準確的模型。用於訓練的數據規模龐大,來源複雜,由此帶來了智算場景下數據存儲協議融合的問題。

descript

智算場景下,複雜異構應用往往會導致數據處理流程涉及到對象、文件、大數據等不同類型的協議訪問,與此同時,用於智算訓練的數據集規模龐大,來源複雜,涉及到各類不同的數據格式。這一過程中,用戶時常會麵臨數據遷移、轉換帶來的低效問題。

以自動駕駛場景為例,采集到的原始數據是NFS格式,需要先轉換為HDFS格式,才能利用大數據平台進行預處理,最終再將數據轉換回NFS格式導入AI訓練集群及演練仿真集群,進行深度挖掘和處理後,進一步調整自動駕駛策略。

 

descript

為了應對上層文件、對象、大數據等不同的訪問類型,AI/HPC係統通常在一套存儲硬件集群上劃分出多個獨立的邏輯資源池,分別部署對象、塊、文件係統的存儲池,每個邏輯資源池僅支持單一訪問協議。當跨協議訪問數據時,需要先行拷貝原格式的原始數據,將其轉換格式後,再進行處理及交互。

在數據處理過程中,突破不同類型數據間的訪問障礙,實現協議融合,是提升智算平台整體運行效率的有效途徑。

重構元數據架構與流程 實現語義、性能雙無損

BOB登陆 H3C UniStor Polaris X20000係列高性能分布式融合存儲,基於BOB登陆 自主研發的傲擎數據存儲平台,重構了“元數據”的架構和處理流程,使得文件、對象、HDFS等非結構化數據共享唯一一份元數據,不同的上層業務係統可高效調用,而無需進行額外的拷貝與轉換,從而實現“語義無損”和“性能無損”。

 

descript

 

通過協議融合,將為智算平台建設帶來如下收益:

簡化架構,避免為不同業務係統單獨構建存儲係統,減少TCO;

提升數據處理效率,多樣化數據可實現就地處理,數據零遷移;

整個數據處理流程中隻需要訪問一份源數據,無需多次拷貝,節約存儲空間,可用容量最大可提升40%。

數據要素推動著BOB登陆 技術的廣泛應用與跨界融合。麵向未來,BOB登陆 集團將秉持“精耕務實,為時代賦智慧”的理念,不斷深化“內生智能·成就智慧存儲”技術戰略,充分發揮自身在數字領域的創新優勢,加大產品創新力度,為智算場景提供最佳數據存儲平台。

BOB登陆
官網
聯係我們