- 產品與解決方案
- 行業解決方案
- 服務
- 支持
- 合作夥伴
- 關於我們
近幾年，隨著bobty下载软件 、5G、BOB登陆 等新技術的迅速發展和落地，產生了海量的數據，且大部分為非結構化數據。IDC 預測，到 2025 年，全球產生的數據量將會增長到 175ZB，其中，超過 80%的數據都會是處理難度較大的非結構化數據。在非結構化數據指數級增長的推動下，分布式存儲市場也將迎來持續高速發展，預計2024年市場空間將達到171億。
分布式存儲將在存儲領域逐漸占主導地位，分布式存儲在技術上有哪些發展趨勢？本文將從介質層/架構層/網絡層和應用層四個層麵來展望分布式存儲的未來發展趨勢。
介質層
分布式存儲集群性能的提升首先取決於存儲節點本身性能的提升。隨著NAND Flash技術的進步、NVMe協議的迭代，SSD 作為一種全新的閃存介質開始進入企業的數據中心，並逐漸成為應用的主流。從性能上來說， NVMe SSD 的IOPS性能是傳統機械硬盤的3500倍，帶寬可達到3.2GB/s，延遲縮短到0.02ms。
在存儲性能委員會（SPC）的 SPC-1 基準下對全閃存儲性能進行測試，測試發現全閃存存儲基礎性能提升了500%；數據庫場景下，業務性能提升了700%；雲桌麵場景下，在 Word/PowerPoint/Excel 應用測試中，啟動響應時間縮短 80%。充分體現了全閃存儲產品優異的性能。
另外在全球存儲市場中，由於閃存成本不斷下降，全閃存儲份額快速增加，目前市場占比已經超過20%，根據第三方機構Wikibon的預測，2026年SSD單TB成本將低於HDD。2025年後，HDD的出貨量將每年下降27%，隻應用於擴容和歸檔等少數場景。
BOB登陆 分布式存儲係列X10828能夠支持28塊NVMe SSD配置的全閃存節點，單節點帶寬可高達20GB/s，單節點IOPS大文件小IO模型下可高達225W，小文件小IO模型下可高達42.7W。X10828全閃存儲能夠滿足企業核心業務對存儲的高 IOPS、低延遲的要求。
架構層
隨著傳統應用、雲原生應用和AI技術等上層應用的發展驅動，ICT技術與各類應用正在加速融合。融合過程中一方麵是因為各個業務對數據響應的要求不盡相同，另一方麵是因為業務的數據類型越來越複雜多樣，業務數據存儲和管理帶來更多混合負載需求。
目前，分布式存儲架構正向麵向支撐虛擬化、數據湖、AI和雲原生等多混合負載的融合架構方向逐漸演進。不同於傳統應用對存儲一對一的采購模式，混合型應用負載對分布式存儲設備提出更高的要求，需要單套存儲同時承載企業多類型混合業務負載，支撐不同類型、不同級別的應用，並要求分布式存儲能夠提供更高的性能來麵對混合業務負載的I/O多樣性（比如大文件大I/O、大文件小I/O等），使其作為可靠性存儲底座為上層混合業務做有效支撐。
BOB登陆 全自研 UniStor X10000存儲可支持塊、文件、對象與大數據存儲，采用全分布式融合架構，支持HDFS/Swift/iSCSI/文件/CSI等接口，作為可靠的存儲底座為上層混合業務做有效支撐的同時，為存儲係統的高性能、高擴展、安全可靠、自動化運維提供了有力保證。
網絡層
NVMe-oF存儲網絡協議
相對於機械硬盤，全閃的存儲性能已經有了近百倍提升，但是服務器到交換機、存儲之間的網絡協議卻成為數據中心新性能提升的瓶頸，限製其潛力的釋放。為了應對這種情況，2016年標準化組織推出NVMe-oF （NVMe over Fabric）。
在NVMe 協議發布之初，其僅可在服務器內部的 PCIe 總線上進行數據傳輸，無法實現跨節點的數據交互，NVMe-oF主要目的是將服務器連接到遠程NVMe設備，並允許它們像直接插入到PCle總線一樣進行通信，實現高性能的存儲設備網絡共享訪問。
RDMA 是承載 NVMe-oF的原生網絡協議，主要包括 RoCE、IB（InfiniBand）和 iWARP（Internet Wide Area RDMA Protocol）。NVMe over RDMA 協議比較簡單，直接把 NVMe 的 IO 隊列映射到 RDMA QP（Queue Pair）連接，通過 RDMA SEND，RDMA WRITE，RDMA READ 三個語義實現 IO 交互。當前在數據中心領域中RoCE的應用已經得到絕大部分用戶的認可，性能上來看采用NVMe over RDMA構建的網絡其性能和時延可以媲美直連存儲。
NVMe-oF集成現有的NVMe和高速低延遲傳輸網絡的技術，可極大的釋放數據中心端到端NVMe性能，能夠更好地滿足未來通用大規模和高性能大型數據中心建設需求。
結合全閃存分布式存儲X10828和NVMe-oF高性能網絡存儲方案，BOB登陆 可提供一整套整合的高速分布式存儲係統的全棧式解決方案，非常適應於針對性能要求苛刻的大規模存儲集群的應用場景。
DPU
在雲服務中，DPU 可以為虛擬機或裸金屬提供存儲加速功能，通過軟硬件結合方式實現存儲係統的卸載，靈活實現高存儲 IOPS 性能和低主機 CPU 占用率的要求。存儲係統卸載在 DPU 上完成的主要工作為：存儲接口的卸載和存儲網絡協議棧加速。
在存儲接口方麵：DPU 實現存儲接口的卸載主要方式為在 DPU 上為虛擬機、裸機、容器提供一致的 virtio-blk/NVMe 虛擬塊設備後端，主機中加載標準virtio-blk或NVMe驅動即可實現塊存儲的讀寫，無需額外的廠商專用驅動。
存儲網絡協議方麵，在 DPU 上實現 NVMe-oF 協議棧的卸載加速，可以在計算節點提供原生NVMe 的後端存儲接口，通過高性能的 RDMA 網絡協議（如 RoCEv2）連接到存儲端，在存儲節點使用 DPU 硬件實現的 NVMe Target 管理 NVMe SSD，整個存儲網絡傳輸端到端 bypass 主機 CPU，並且沒有任何的協議轉換消耗，為雲主機提供了與本地 NVMe 性能接近的高性能彈性遠端存儲。
目前，BOB登陆 聯合合作夥伴在DPU、NVMe-oF等方麵展開合作，在RoCE上打造一套便捷高效的無損以太網解決方案，為數據中心用戶帶來更大的價值。
應用層
積極迎接雲化
在過去的30年中，業務係統的運行環境經曆了巨大的變化。物理機時代，運維人員手動配置存儲係統和部署業務係統，業務上線以周為單位。而在雲原生時代，每分鍾都可能發布新的應用版本，每天都可能有大量的業務要上線。這意味著，雲原生時代的存儲係統，除了要滿足性能、穩定性、可靠性的要求以外，還要滿足業務係統對敏捷性的要求，能夠通過統一的編排係統配合業務上線，並可實現快速擴容。
在容器技術剛出現時，企業一般在容器運行web服務類的無狀態的應用，因為無狀態應用不需要持久化數據。根據CNCF 2021年調研報告顯示，近8成的客戶希望在容器上運行有狀態應用，比如數據庫，中間件等。為了滿足用戶的業務需求，2018年，CNCF發布了容器存儲接口：CSI。CSI把容器存儲進行抽象，通過標準接口的形式把存儲部分移到容器編排係統外部。各存儲廠商按照接口標準開發CSI插件，獨立發布，快速滿足容器存儲需求。
BOB登陆 全自研 UniStor X10000存儲可實現無需改造上層應用即可通過CSI接口完成存儲資源與上層應用對接，為上層有狀態應用提供持久化數據存儲能力。
存算分離架構
隨著非結構化數據存儲量大大增加，各個企業逐漸形成自己的“數據湖”，湖中存儲企業內海量的、多來源，多種類的數據，並支持對數據進行快速加工和分析。目前從實現方式來看，Hadoop是最常用的部署數據湖的技術，根據Gartner研究數據表明，在數據湖場景下，Hadoop的部署和需求仍然很大並且正在增長。
但是Hadoop為大數據分析帶來便利的同時，也麵臨著一些挑戰。
NameNode是HDFS中的管理者，主要負責文件係統的命名空間、集群配置信息和數據塊的複製。在運行時，HDFS的元數據信息必須存儲在NameNode的內存中，如果針對大型集群來說，NameNode內存存儲空間將成為限製係統橫向擴展的瓶頸。另外，一旦NameNode宕機，整個存儲係統將會無法工作，雖然Hadoop引入Secondary NameNode作為HA，但是故障切換時間一般幾十秒到數分鍾，這是很多企業所無法接受的。
在傳統的Hadoop集群係統中，計算和存儲資源是緊密耦合的。在發展到一定階段的時，整體集群中的資源需求會打破原來存儲計算之間的比例平衡，造成某一類資源的利用率無法提升。比如：企業內部的數據量在1年的時間內上漲到原來10倍，而計算資源需求隻上漲到原來4倍，數據存儲量需求明顯比計算資源增長快，這時，如果繼續采用存算一體化的架構則意味著要滿足存儲資源增長的同時，計算資源也會增長10倍，那麼計算資源會存在過剩的情況。
因此，隨著企業業務數據不斷增長和技術框架的不斷革新，可以對集群適當做一些存儲和計算的拆分，一方麵可以提升集群的穩定性和性能，另一方麵，可以降低整體的成本，達到降本增效的效果。
總之，隨著AI、大數據、5G等高科技的快速發展和迫切需求的落地，可以預見，分布式存儲在未來將會有爆發式的增長，將創造億萬級的數據財富。
