目  錄

1 NetAnalysis

1.1 NetAnalysis簡介

1.2 NetAnalysis係統組成

1.3 NetAnalysis工作過程

2 RoCEv2流量NetAnalysis

2.1 RoCEv2流量NetAnalysis簡介

2.1.1 RoCEv2報文

2.1.2 CM建鏈過程

2.1.3 RoCEv2流量統計過程

2.1.4 RoCEv2流量NetAnalysis流老化

2.1.5 RoCEv2流量NetAnalysis過濾功能

2.2 RoCEv2配置限製和指導

2.3 RoCEv2流量NetAnalysis配置任務簡介

2.4 配置RoCEv2流量NetAnalysis功能的工作模式

2.5 開啟RoCEv2流量NetAnalysis統計功能

2.6 開啟全局RoCEv2流量丟包統計功能

2.7 配置RoCEv2流量的AI ECN功能

2.8 配置RoCEv2流統計信息發送給NDA的時間間隔

2.9 配置RoCEv2流的非活躍老化時間

2.10 開啟VXLAN隧道內RoCEv2流量的NetAnalysis統計功能

2.11 開啟全局VXLAN隧道內RoCEv2流量的丟包分析功能

2.12 RoCEv2流量NetAnalysis顯示和維護

2.13 RoCEv2流量NetAnalysis典型配置舉例

2.13.1 RoCEv2流量NetAnalysis統計信息輸出配置舉例

 

1 NetAnalysis

1.1  NetAnalysis簡介

NetAnalysis是一種網絡流量監控和分析技術，能夠深入分析指定的業務流，提供有關丟包率、時延等性能指標數據。同時，NetAnalysis支持將分析結果發送至網絡流分析數據處理器進行進一步分析和展示，以方便網絡管理員監控網絡運行情況並迅速定位網絡故障。

1.2  NetAnalysis係統組成

一個典型的NetAnalysis係統由三部分組成：NDE（NetAnalysis Data Exporter，網絡流數據輸出者）、NAP（NetAnalysis Processor，網絡流分析處理器）和NDA（NetAnalysis Data Analyzer，網絡流數據分析器）。

·     NDE：一般由設備的CPU芯片來承擔該功能。NDE通過ACL中所定義的規則來篩選出需要進一步分析的特定業務流量。一旦識別出與ACL規則相匹配的數據流，NDE會將這些數據上送至NAP，以便進行進一步的分析和處理。

·     NAP：通常為運行於某種操作係統上的一個應用程序，主要負責接收NDE上送的數據流，並對其進行處理與分析。完成分析後，NAP會將結果發送給NDA。

·     NDA：為一個具有圖形化界麵的網絡流量分析工具，旨在簡化數據的獲取、展示和分析過程，以便用戶使用。

如圖1-1所示，當業務流途徑多台設備時，隻要往返方向路徑相同，途徑的每台設備都能夠獲取到該業務流的雙向流量。這使得可以在這些設備上對有關該業務流的丟包、時延等各種指標信息進行分析。

 

圖1-1 NetAnalysis係統組成

 

1.3  NetAnalysis工作過程

NetAnalysis的具體工作過程如圖1-2所示，分為如下三個步驟：

(1)     在NDE中配置目標業務流，利用部署的ACL規則篩選流量，符合條件的流量被複製並上送至NAP。

(2)     NAP對收到的流進行處理，如果業務流可以滿足建鏈要求，則建立流表進行分析；如果業務流不滿足建鏈要求，或超過了設備的處理能力，則丟棄該業務流。有關建鏈的具體過程，請參見“2.1.2  CM建鏈過程”。

(3)     NAP將分析結果封裝成報文後，將其轉發給NDA，以供NDA進行分析和展示。

圖1-2 NetAnalysis工作過程

 

2 RoCEv2流量NetAnalysis

2.1  RoCEv2流量NetAnalysis簡介

RDMA（Remote Direct Memory Access，遠程直接內存訪問）是一種直接內存訪問技術，用於IB（InfiniBand，無限帶寬）網絡，可以解決網絡傳輸中服務器端數據處理的延遲。RDMA通過網絡把數據直接傳入計算機的存儲區，將數據從一個係統快速移動到遠程係統存儲器中，而不對操作係統造成任何影響，不需要經過處理器耗時的處理，最終可以達到高帶寬、低延遲和低資源利用率的效果。

RoCEv2（RDMA over Converged Ethernet）是一種允許通過以太網使用遠程直接內存訪問的網絡協議，是RDMA在以太網上的應用。該協議廣泛用於高性能計算、分布式存儲、AIBOB登陆 等TCP/IP場景，以降低CPU的處理和延遲，提升應用的性能。但這些場景下，會出現多個節點向一個節點發送報文的情況，容易造成設備內部隊列緩存的瞬時突發擁塞基至丟包，造成時延的增加和吞吐的下降。因此需要采用NetAnalysis技術對RoCEv2流量進行智能流量監控和分析，分析RoCEv2流的丟包、時延和吞吐以及路徑信息，實時監控RoCEv2網絡狀態。

2.1.1  RoCEv2報文

RoCEv2是一種網絡層協議，可以實現路由功能，允許不同廣播域下的主機通過三層訪問。RoCEv2是基於UDP協議封裝的，報文格式如圖2-1所示。

圖2-1 RoCEv2報文格式

 

RoCEv2報文各字段的含義如下：

·     Ethernet header：以太報文頭，包括源MAC地址和目的MAC地址。

·     IP header：IP報文頭，包括源IP地址和目的IP地址。

·     UDP Header：UDP報文頭，包括源端口號和目的端口號，其中目的端口號為4791。

·     InfiniBand Base Transport Header：InfiniBand傳輸層的頭部字段。包含進行NetAnalysis的關鍵字段。

·     IB Payload：消息負載。

·     ICRC和FCS：分別對應冗餘檢測和幀校驗。

其中InfiniBand Base Transport Header包含各字段的含義如下：

·     Opcode：表示RoCEv2的報文類型，指出報文處於什麼操作模式，主要包括：

¡     ConnectMsg模式：此時報文用於建立RoCEv2連接，簡稱CM（Communication Management）建鏈。建鏈成功後，本端和遠端之間才能傳遞數據報文。

¡     Send模式：此時報文用於發給遠端，發送端不控製接收端在哪存儲數據。

¡     Write模式：此時報文用於寫入遠端，報文中會指定遠端要寫入數據的地址、key（關鍵值）和數據長度。

¡     Read模式：此時報文用於遠端讀取，報文中會指定遠端請求讀取數據的地址、key和數據長度。檢測吞吐時將對Send、Write和Read模式的RoCEv2報文進行分析。

¡     ACK（Acknowledge）模式：此時報文用於接收端反饋應答消息，依據RoCEv2 ACK報文特有的ACK Extended Transport Header的內容，可以將ACK報文分為普通ACK報文（表示信息成功接收的響應信息）和NAK報文（表示出現了丟包）。

·     Dest QP：目的QP，用來標識一條RoCEv2流，相當於RoCEv2報文中的目的端口，是NetAnalysis用來建立RoCEv2流表的關鍵值。

·     PSN：表示RoCEv2報文的序列號，可通過檢測PSN是否連續來判斷是否存在丟失的數據包，若出現了丟包，就會返回NAK報文。

2.1.2  CM建鏈過程

RDMA的建鏈方式有基於RoCE報文的CM建鏈和基於TCP報文自定義字段的TCP建鏈兩種方式。

NetAnalysis功能支持對CM建鏈報文和TCP建鏈報文進行智能分析。由於TCP建鏈方式的流分析過程與CM基本一致，且TCP建鏈屬於用戶自定義內容，所以本節隻介紹CM建鏈方式。

圖2-2 CM建鏈過程

 

如圖2-2所示，CM建鏈的過程為：

(1)     客戶端通過向服務器發送Connet Request報文，發出建立RoCEv2連接請求。

(2)     服務器收到Connet Request報文後，會向客戶端回複Connect Reply報文，表示確認連接請求。客戶端在接收到該回複後，即可確認與對端已經建立了連接。

(3)     客戶端通過發送ReadyToUse報文，向服務器確認連接已經準備就緒。服務器收到該報文後，即表示CM建鏈成功。

2.1.3  RoCEv2流量統計過程

設備上開啟RoCEv2流量NetAnalysis功能後，NDE會匹配RoCEv2報文中的Opcode字段來獲取RoCEv2報文。通過Opcode字段，可以獲知報文類型，NAP會依據RoCEv2建鏈報文中的四元組信息關鍵值（RoCEv2流的客戶端IP地址、RoCEv2流的服務器端IP地址、客戶端的QP值、服務器端QP值）形成流表項，從而組成一個RoCEv2流表。

NAP根據NDE後續上送的RoCEv2數據報文，對流表中的一些關鍵字段進行統計，根據統計結果可以分析出RoCEv2流性能信息（丟包、時延和吞吐以及路徑信息等）。流表中的統計內容支持在設備上查看，同時該統計結果會在流老化後輸出至NDA，進一步的展示和分析。

2.1.4  RoCEv2流量NetAnalysis流老化

RoCEv2流量NetAnalysis流老化是設備向NDA輸出流統計信息的一種手段。當設備開啟RoCEv2流量NetAnalysis功能後，流統計信息首先會被存儲在設備的NetAnalysis緩衝區中。當存儲在設備上的NetAnalysis流信息老化後，設備會把緩衝區中的流統計信息輸出報文發送給NDA，同時清除緩衝區中的對應信息。

RoCEv2流量NetAnalysis流老化僅支持流的非活躍老化。

由於網絡上的流是短時間陣發的，在短時間內就會產生大量的流，而設備的緩存空間容量是一定的，當一條RoCEv2流的非活躍時間（從流最後一個報文流過時間到當前的時間）超過所設置的非活躍老化時間時，設備認為該流處於非活躍狀態（流已經斷了），這樣就需要把當前的流表輸出至NDA並從緩存空間中刪除，為後麵到來的流提供空間，這個過程稱為流的非活躍老化。同時刪除會話並通知NDA。

2.1.5  RoCEv2流量NetAnalysis過濾功能

RoCEv2流量NetAnalysis統計功能可以與ACL（Access Control List，訪問控製列表）配合使用，可以根據ACL規則對經過設備的RoCEv2流量進行匹配，使得RoCEv2流量NetAnalysis功能隻統計ACL篩選出的報文。通過這種方式可以使RoCEv2流量NetAnalysis功能隻對用戶關注的數據進行統計，更能滿足用戶多樣的統計要求。有關ACL的詳細介紹，請參見“ACL和QoS配置指導”中的“ACL”。

2.2  RoCEv2配置限製和指導

RoCEv2流量NetAnalysis統計功能不支持分析IPv6流量。

RoCEv2流量NetAnalysis統計功能僅支持分析流經SF係列接口板的流量。

2.3  RoCEv2流量NetAnalysis配置任務簡介

NetAnalysis配置任務如下：

(1)     配置RoCEv2流量NetAnalysis功能的工作模式

(2)     開啟RoCEv2流量NetAnalysis統計功能

(3)     開啟全局RoCEv2流量丟包統計功能

(4)     （可選）配置RoCEv2流量的AI ECN功能

(5)     （可選）配置RoCEv2流統計信息發送給NDA的時間間隔

(6)     （可選）配置RoCEv2流的非活躍老化時間

(7)     （可選）開啟VXLAN隧道內RoCEv2流量的NetAnalysis統計功能

(8)     （可選）開啟全局VXLAN隧道內RoCEv2流量的丟包分析功能

2.4  配置RoCEv2流量NetAnalysis功能的工作模式

1. 功能簡介

如圖2-3所示，為了保證能夠正確分析RoCEv2流量，當同一個RoCEv2客戶端和服務器端存在多條路徑時，建議在客戶端和服務器端接入的節點設備（Device C和Device D）上均配置雙向模式，在中間節點設備（Device A和Device B）上均配置單向模式。兩種模式的工作特點如下：

·     雙向模式：設備可以抓取客戶端和服務器端之間的雙向流量，根據CM建鏈報文獲取用來表示RoCEv2會話的四元組信息，NetAnalysis基於RoCEv2會話統計報文的相關信息，可以統計基於會話的RTT（Round Trip Time，報文往返時延）和丟包數。

·     單向模式：設備隻能抓取客戶端到服務器端之間的單向流量，獲取建立RoCEv2流表項的三元組信息，隻能基於RoCEv2流表項統計報文的吞吐量，無法統計基於會話的RTT和丟包數。

圖2-3 RoCEv2流量NetAnalysis功能的工作模式

 

2. 配置限製和指導

在配置NetAnalysis其他功能前，請先通過本命令配置RoCEv2流量NetAnalysis功能的工作模式，否則其他功能不生效。

切換RoCEv2流量NetAnalysis功能的工作模式後，原先模式下所有的NetAnalysis功能相關配置及緩存信息均會被清除，請謹慎操作。

3. 配置步驟

(1)     進入係統視圖。

system-view

(2)     配置RoCEv2流量NetAnalysis功能的工作模式。

netanalysis rocev2 mode { bidir | single }

缺省情況下，未配置RoCEv2流量NetAnalysis功能的工作模式，RoCEv2流量NetAnalysis功能處於關閉狀態

2.5  開啟RoCEv2流量NetAnalysis統計功能

1. 功能簡介

開啟本功能後，設備會對指定的RoCEv2流量進行NetAnalysis統計分析，並將分析結果上送NAP。指定的RoCEv2流量通過ACL規則進行匹配，規則中指定的deny或permit動作不生效。目前僅支持如下高級ACL規則，不支持的ACL規則會無法生效，導致NAP收不到匹配通過的業務流：

·     rule1：僅配置UDP協議和目的IPv4地址；

·     rule2：僅配置UDP協議和源IPv4地址；

·     rule3：僅配置UDP協議、源IPv4地址和目的IPv4地址。

有關ACL規則配置的詳細說明，請參見“ACL和Qos”配置中的“ACL”。

2. 配置步驟

(1)     進入係統視圖。

system-view

(2)     開啟RoCEv2流量NetAnalysis統計功能NetAnalysis全局統計功能。

netanalysis rocev2 statistic { global | acl name acl-name }

缺省情況下，RoCEv2流量NetAnalysis統計功能處於關閉狀態。

2.6  開啟全局RoCEv2流量丟包統計功能

1. 功能簡介

在RoCEv2網絡中，最重要的是需要保證網絡流量零丟包。開啟本功能後，設備會對所有入端口的所有RoCEv2流量進行丟包分析。

2. 配置限製和指導

在開啟本功能前，必須先將NetAnalysis智能流量分析功能的工作模式配置為雙向模式，否則本功能不生效。

3. 配置步驟

(1)     進入係統視圖。

system-view

(2)     開啟全局RoCEv2流量丟包統計功能。

netanalysis rocev2 drop global

缺省情況下，全局RoCEv2流量丟包統計功能處於關閉狀態。

2.7  配置RoCEv2流量的AI ECN功能

1. 功能簡介

配置本功能後，設備會在RoCEv2流量的出接口上基於RoCEv2會話統計報文的相關信息並上送給NDA。NDA根據統計到的RoCEv2流量，智能調整無損隊列的ECN（Explicit Congestion Notification，顯示擁塞通知）門限，從而保障零丟包下的低時延和高吞吐，讓無損業務達到最優性能。有關ECN的詳細介紹，請參見“ACL和QoS”中的“QoS”。

2. 配置步驟

(1)     進入係統視圖。

system-view

(2)     配置RoCEv2流量的AI ECN功能。

netanalysis rocev2 ai-ecn enable

缺省情況下，RoCEv2流量的AI ECN功能處於關閉狀態。

2.8  配置RoCEv2流統計信息發送給NDA的時間間隔

1. 功能簡介

設備開啟RoCEv2流量的NetAnalysis統計功能後，還需將包含流統計結果的RoCEv2流量統計信息輸出給指定的NDA，才能完成流信息的進一步加工和可視化。用戶可以根據需要配置RoCEv2流統計信息發送給NDA的時間間隔。

2. 配置步驟

(1)     進入係統視圖。

system-view

(2)     配置RoCEv2流統計信息發送給NDA的時間間隔。

netanalysis rocev2 report-interval interval

缺省情況下，RoCEv2流統計信息發送給NDA的時間間隔為10秒。

2.9  配置RoCEv2流的非活躍老化時間

1. 功能簡介

RoCEv2流達到非活躍老化時間後，設備會將該流在流緩存區中的統計信息發送給NDA之後，將該流相關的統計信息刪除，將該條流的表項進行老化。

2. 配置步驟

(1)     進入係統視圖。

system-view

(2)     配置RoCEv2流的非活躍老化時間。

netanalysis rocev2 timeout inactive seconds

缺省情況下，RoCEv2流的非活躍老化時間為30秒。

2.10  開啟VXLAN隧道內RoCEv2流量的NetAnalysis統計功能

1. 功能簡介

當用戶需要了解和優化VXLAN組網的網絡性能，提升網絡的傳輸速度和可靠性時，可以配置VXLAN隧道內RoCEv2流量的NetAnalysis統計功能。

通過使用該功能，用戶可以對VXLAN隧道邊緣節點、中間節點的RoCEv2流量進行NetAnalysis統計分析，統計節點上每個流量的數據特征，包括流量量、帶寬、延遲等信息，並將這些分析結果上送。

2. 配置限製和指導

指定的RoCEv2流量通過ACL規則進行匹配，規則中指定的deny或permit動作不生效。目前僅支持如下高級ACL規則，不支持的ACL規則會無法生效，導致NAP收不到匹配通過的業務流：

·     rule1：僅配置UDP協議和目的IPv4地址；

·     rule2：僅配置UDP協議和源IPv4地址；

·     rule3：僅配置UDP協議、源IPv4地址和目的IPv4地址。

有關ACL規則配置的詳細說明，請參見“ACL和QoS”配置中的“ACL”。

本功能僅支持統計同一個數據中心網絡內部的VXLAN隧道流量，不支持統計數據中心之間的VXLAN-DCI隧道流量。

3. 開啟VXLAN隧道中間節點RoCEv2流量的NetAnalysis統計功能

(1)     進入係統視圖。

system-view

(2)     開啟VXLAN隧道中間節點RoCEv2流量的NetAnalysis統計功能。

netanalysis rocev2 vxlan statistics { acl name acl-name | global }

缺省情況下，VXLAN隧道中間節點RoCEv2流量的NetAnalysis統計功能處於關閉狀態。

4. 開啟VXLAN隧道邊緣節點RoCEv2流量的NetAnalysis統計功能

(1)     進入係統視圖。

system-view

(2)     開啟VXLAN隧道邊緣節點RoCEv2流量的NetAnalysis統計功能。

netanalysis rocev2 vxlan-ip statistics { acl name acl-name | global }

缺省情況下，VXLAN隧道邊緣節點RoCEv2流量的NetAnalysis統計功能處於關閉狀態。

2.11  開啟全局VXLAN隧道內RoCEv2流量的丟包分析功能

1. 功能簡介

在VXLAN組網的RoCEv2網絡中，最重要的是需要保證網絡流量零丟包。用戶可以配置本功能對VXLAN隧道內中間節點的RoCEv2流量、邊緣節點的RoCEv2流量的解封裝報文進行丟包分析。

2. 配置限製和指導

在開啟本功能前，必須先將NetAnalysis智能流量分析功能的工作模式配置為雙向模式，否則本功能不生效。

本功能僅支持對同一個數據中心網絡內部VXLAN隧道的RoCEv2流量進行丟包分析，不支持對數據中心之間VXLAN-DCI隧道的RoCEv2流量進行丟包分析。

3. 開啟全局VXLAN隧道中間節點RoCEv2流量的丟包分析功能

(1)     進入係統視圖。

system-view

(2)     開啟全局VXLAN隧道中間節點RoCEv2流量的丟包分析功能。

netanalysis rocev2 vxlan drop global

缺省情況下，全局VXLAN隧道中間節點RoCEv2流量丟包分析功能處於關閉狀態。

4. 開啟全局VXLAN隧道邊緣節點RoCEv2流量的丟包分析功能

(1)     進入係統視圖。

system-view

(2)     開啟全局VXLAN隧道邊緣節點RoCEv2流量的丟包分析功能。

netanalysis rocev2 vxlan-ip drop global

缺省情況下，全局VXLAN隧道邊緣節點RoCEv2流量的丟包分析功能處於關閉狀態。

2.12  RoCEv2流量NetAnalysis顯示和維護

在完成上述配置後，在任意視圖下執行display命令可以顯示配置後RoCEv2流量NetAnalysis的運行情況，通過查看顯示信息驗證配置的效果。

在用戶視圖下執行reset命令可以清除NetAnalysis的統計信息。

表2-1 RoCEv2流量NetAnalysis顯示和維護

操作	命令
顯示RoCEv2流緩存區的配置和狀態信息	display netanalysis rocev2 cache [ destination destination-ip | dstvxlan-id dstvxlan-id | source source-ip | srcvxlan-id srcxlan-id ]*
顯示RoCEv2流的統計信息	display netanalysis rocev2 statistics
清除RoCEv2流的統計信息	reset netanalysis rocev2 statistics

 

2.13  RoCEv2流量NetAnalysis典型配置舉例

2.13.1  RoCEv2流量NetAnalysis統計信息輸出配置舉例

1. 組網需求

如圖2-4所示，在Device上配置RoCEv2流量NetAnalysis功能，要求對客戶端和服務器端之間的往返報文進行智能分析，並將RoCEv2流的統計信息輸出到NDA。

2. 組網圖

圖2-4 RoCEv2流量NetAnalysis統計信息輸出配置組網圖

‌

3. 配置步驟

(1)     配置IP地址

請按照圖2-4配置各接口的IP地址和子網掩碼，具體配置過程略。

(2)     配置RoCEv2流量NetAnalysis統計功能

# 配置RoCEv2流量NetAnalysis功能的工作模式為雙向模式。

<Device> system-view

[Device] netanalysis rocev2 mode bidir

# 開啟RoCEv2流量NetAnalysis統計功能。

[Device] netanalysis rocev2 statistics global

 

4. 配置驗證

設備運行一段時間後，查看RoCEv2流的統計信息。

# 查看RoCEv2流緩存區的配置和狀態信息。

[Device] display netanalysis rocev2 cache

NOTE:

S2D: source to destination              D2S: destination to source

RTT: round trip time                    RPT: packet throughput in read mode

WPT: packet throughput in write mode    SPT: packet throughput in send mode

I: input          O: output             L: local          R: remote

NetAnalysis cache information:

-----------------------------------------------------------------------------

Flow created at        Service type

Src IP                 Src QP        S2D RTT      S2D RPT      S2D SPT/WPT

S2D NAK Pkts           S2D Interface(I)           S2D Interface(O)

S2D Src VXLAN ID       S2D Dst VXLAN ID

Dst IP                 Dst QP        D2S RTT      D2S RPT      D2S SPT/WPT

D2S NAK Pkts           D2S Interface(I)           D2S Interface(O)

D2S Src VXLAN ID       D2S Dst VXLAN ID

-----------------------------------------------------------------------------

01/22/2019 09:08:15    RC

11.110.2.2             93309         50           11           11

2                      Vlan-int100(L)             Vlan-int200(L)

10                     10

12.110.2.2             85353         50           11           11

8373                   Vlan-int200(L)             Vlan-int100(L)

10                     10

# 查看NetAnalysis功能中RoCEv2流的統計信息。

[Device] display netanalysis rocev2 statistics

Last statistics resetting time: Never

--------------------------------------------------------------------------------

Received packets: 1833088

--------------------------------------------------------------------------------

Type

         Active         Aged           Created         Reported

        (Sessions)     (Sessions)     (Sessions)      (Sessions)

--------------------------------------------------------------------------------

RoCEv2

        2               0               2              10

--------------------------------------------------------------------------------