一、 引言
隨著三網融合的全麵深入,中國廣電在2016年5月和2019年6月分別獲得了工信部頒發的《基礎電信業務經營許可證》和5G商用牌照,核心業務範圍從傳統有線電視業務演進覆蓋固網寬帶業務、5G移動通信業務。廣電依托廣泛的有線電視用戶基礎在幾年時間內寬帶用戶規模已達4000多萬,未來隨著寬帶中國、超高清視頻產業發展和“新型基礎設施建設”等國家和行業戰略的不斷實施推進,廣電業務將持續快速增長,與此相應的是廣電網絡的內外網業務流量規模將持續快速增長。
廣電寬帶業務發展受製於與三大運營商的高昂網間結算費用,雖然在2020年2月工信部發布了“調整互聯網骨幹網網間結算政策的通知”,三大運營對中國廣電的互聯網骨幹網網間結算費用下調了30%以上,但是每年按100G流量計算的預計費用依然高達5600萬,對於廣電運營商來說,在保證用戶寬帶體驗的前提下合理高效的利用出口線路資源、優化出口線路資源配置尤為重要。此外,廣電作為寬帶業務市場的新進入者,麵臨三大運營商的激烈競爭,提升寬帶業務體驗,創新寬帶業務增值服務將成為廣電網絡在同質化競爭中尋求差異化優勢的重要抓手。
二、 廣電省幹網出口現狀及趨勢分析
隨著廣電網絡互聯網寬帶業務的快速增長,總體看當前各省廣電網絡公司省幹網出口在流量、線路和業務上普遍存在以下特征,這為廣電省幹出口安全平台的建設帶來挑戰。
網絡流量大、增速快:省級廣電網絡的省幹網出口帶寬普遍達到100G以上級別,且年均增速將在20%以上,其中高清、超高清視頻數據占比日益增加;超過億級以上的各類互聯網終端並發會話需求。
多類型出口線路:當前省級廣電的出口線路資源來源較多,包括了傳統運營商出口、二級運營商出口、互聯網ICP出口,出口線路租用成本高,不同出口線路的業務側重不同。
多業務融合承載:寬帶上網、寬帶電視、5G移動通信/物聯網業務,公眾客戶/集團客戶業務的融合承載,不同業務應用、不同用戶對出口選路有差異。
IPv6演進過渡期的業務互訪:廣電網絡從IPv4向IPv6演進過程中的很長一段時間內IPv4、IPv6將共存,廣電內網和外部網絡間存在IPv4/IPv6互訪需求。
三、 廣電省幹網出口安全平台建設的關鍵需求
結合省級廣電網絡的業務發展特征,省幹網出口安全平台建設的關鍵需求可以總結為以下幾點:
提高用戶寬帶業務體驗:良好的用戶寬帶體驗是降低用戶投訴率和不斷發展用戶的基礎,用戶寬帶體驗的差異主要取決於出口線路,傳統基於用戶源IP的選路調度方式難以滿足用戶不同應用選路調度需求,亟需尋找一種基於應用的精細化智能選路調度技術來提高用戶寬帶體驗。
提高出口線路利用率,優化出口線路資源配置:廣電出口線路租用價格昂貴,對於已有的出口線路資源要優化利用,依托精細化的智能選路調度提高對線路資源的使用效率和效果;對於未來業務增長帶來的出口線路擴容,需要借助出口線路資源利用情況統計實現出口線路資源優化配置。
確保IPv6過渡期廣電內外網IPv4/IPv6的正常互訪:滿足IPv6演進過程中不同階段的內外網之間的IPv4與IPv4,IPv4與IPv6,IPv6與IPv6之間的正常訪問需求。
滿足網絡監管要求:能夠記錄並留存用戶使用的互聯網網絡地址和內部網絡地址對應關係,日誌留存不少於6個月,便於有關部門審計溯源。
創新集團客戶增值服務模式:集團客戶業務作為運營商增加營收、避免同質化競爭、業務轉型的重要方向,廣電運營商一直在各個方向上進行挖掘創新,互聯網出口安全服務將作為一個創新方向為集團客戶提供差異化增值服務。
N*100G規模流量下NAT、選路調度:整個平台設計需要滿足未來幾年內N*100G大流量、高並發場景下的選路調度,NAT地址轉換,NAT日誌采集性能要求。
四、 BOB登陆 廣電省幹網安全出口平台解決方案
圖1 廣電省幹網出口安全平台解決方案整體架構
BOB登陆 憑借多年在廣電運營商的積累,在深入分析廣電運營商業務發展現狀及趨勢、業務需求的前提下,提出了以基於應用智能選路和基於客戶識別的集客安全增值服務為核心特點的廣電省幹網安全出口平台解決方案,助力廣電運營商提高出口線路資源利用率、優化出口線路資源配置,創新集客安全增值業務。
廣電省幹網出口安全平台解決方案整體架構如上圖所示,骨幹網出口側部署綜合網關雙機集群M9000,綜合網關雙機集群M9000通過N*100G鏈路下聯至省幹網核心路由器,在主幹鏈路上部署分光器將主幹流量通過分光複製到TAP複製分流器6520X-G,複製分流器6520X-G根據複製分流策略將對應的流量通過N*10G鏈路上送至用戶行為管理係統ACG1000-XE、全威脅流量探針和DDOS檢測設備;在核心路由器物理旁路連接至DDOS清洗設備、防火牆(含IPS、AV)、ACG用戶行為管理和管理平台、日誌係統、DNS、態勢感知平台。
本方案涉及的核心完全設備如下:
圖2 核心網元設備展示
綜合網關雙機集群M9000:主要實現出口鏈路負載均衡LLB和NAT44/NAT64功能,單設備最大支持14槽位,單塊LLB業務板卡具備100G的吞吐性能和近億級並發連接能力,集群模式下可擴展至TB級以上吞吐性能和十億以上的並發連接。
TAP複製分流器6520X-G:主要實現複製分流功能,單台設備具備48*10G+2*40G+ 4*40G/100G接口,單台能夠支持400G以上場景複製分流。
應用管理係統ACG1000-XE:主要實現用戶應用識別和管控功能,單台設備具備10G的應用識別能力,集群模式應用識別無上限。
我們把方案的技術要點總結為如下5個方麵。
1)基於應用的智能選路
圖3 基於應用的智能選路調度原理
傳統省幹網出口選路方式主要有基於用戶源IP和ISP兩種調度方式,基於用戶源IP的選路調度是根據用戶源IP地址將用戶流量固定的調度到指定的出口線路,基於ISP的選路調度方式則是根據用戶請求訪問服務端資源所屬的ISP,將出口流量調度到相對應的ISP出口線路。以上兩種調度方式均存在著由於用戶端或服務端的潮汐效應導致出口線路負載嚴重不均衡甚至擁塞的問題,不區分應用的選路調度方式難以滿足特定應用對出口線路性能需求。
為解決上述問題,BOB登陆 提出了基於應用選路提升用戶寬帶業務體驗和基於鏈路資源統計實現精細化線路資源運營的解決方案,方案的核心思路是基於應用智能選路技術將不同用戶不同應用流量調度到適宜的出口線路上,提高用戶寬帶業務體驗,結合流量的應用屬性和線路的狀態屬性實現精細化調度,充分利用好各類出口線路資源;基於各類出口線路使用狀況及業務流量需求變化合理擴容線路資源或者為建設CDN本地存儲提供決策支撐,優化出口線路資源配置,具體實現流程如下所示:
①鏈路健康狀態檢查:出口網關模擬真實用戶行為對鏈路逐條進行DNS和互聯網應用http/https請求,根據響應結果判斷各鏈路的健康狀況;
②NAT資源池健康狀態檢查:出口網關模擬真實用戶行為以NAT地址池中的IP地址為源地址對外網服務(DNS、百度、微信等)進行探測,根據響應結果判斷NAT資源池中IP地址的可用情況。
③流量鏡像及應用識別:TAP分流器基於源地址的Hash算法,將分光器采集的主幹網流量分批鏡像到用戶行為管理設備ACG,ACG以10G性能識別全網N*100G規模的流量,獲取網絡流量的應用APP和目的IP的映射關係。
④應用識別同步:ACG將APP-IP表項以及APP分類結構周期性的同步給LLB。
⑤選路策略配置:網絡管理員根據不同用戶不同應用對鏈路資源需求的特點,以及各出口鏈路的業務應用屬性製定應用選路策略。
⑥應用識別及調度:
l 當客戶端發起某一業務請求時,LLB根據APP-IP表項識別進行應用調度策略匹配,並將用戶流量調度到高優先級的出口鏈路上,並實時探測鏈路的擁塞狀態;
l 當高優先級鏈路發生擁塞時,LLB會將新的業務請求調度到低優先級的鏈路上;
⑦鏈路流量統計運營:LLB實時進行鏈路流量信息收集並發送到管理平台,管理平台完成各鏈路流量統計展示,為出口鏈路資源的合理配置提供數據支撐;
2)基於NAT的IPv4/IPv6網絡互通
圖4 基於NAT的IPv4/IPv6網絡互通原理
如上圖所示,基於綜合網關雙機集群M9000的NAT64/NAT44滿足實現IPv4/ IPv6之間的正常互訪,具體業務流程如下:
① IPv6與IPv6互訪:網絡設備支持IPv6協議棧可直接進行互訪。
②IPv4與IPv4互訪:基於嵌套字(IP地址+端口號)的NAT44動態地址轉換將大量的內網IPv4地址轉換為少量外網IPv4地址,不同內網IPv4地址和端口轉換為不同的外網IPv4地址和端口。
② IPv4與IPv6互訪:
l 內網IPv4主動訪問IPv6:在出口網關上配置IPv4和IPv6地址靜態映射關係,通過NAT64實現IPv4與IPv6的互訪;
l 內網IPv6主動訪問IPv4:基於嵌套字(IP地址+端口號)的NAT64動態地址轉換將大量的IPv6地址轉換為少量外網IPv4地址;
3)NAT日誌留存滿足網絡安全監管
圖5 NAT日誌留存及審計溯源原理
如上圖所示,基於分布式日誌係統實現N*100G大流量、N*100萬EPS高並發的NAT日誌的采集、存儲及審計溯源功能,具體實現業務流程如下所示:
①NAT數據采集:出口網關集群M9000主動通過syslog協議將NAT日誌實時發送到日誌係統完成NAT日誌的采集,日誌係統采用分布式架構,可線性拓展,能夠滿足未來100G*N大流量大並發場景下的日誌采集需求。
②數據處理:日誌係統對收集的NAT日誌進行數據分類和範式化處理,將各種不同類型和表達方式的日誌轉換成統一的日誌格式,並將完成轉換的NAT日誌進行統一的存儲,日誌存儲滿足網監部門6個月數據留存要求。同時通過對海量NAT日誌的快速檢索,幫助客戶進行審計追蹤、調查取證和應急處置。
4)基於用戶識別的增值運營
圖6 基於用戶識別的增值運營原理
如上圖所示,基於用戶識別技術為集團客戶提供差異化的增值服務,涵蓋優質網絡服務、綜合安全威脅發現、防護服務及統計運營服務,具體業務流程如下:
①客戶流量識別及安全檢測、防護:基於IP地址識別客戶流量,TAP分流器篩選出需要安全防護/分析的集客業務流量分別複製抓取到全威脅流量探針和DDOS檢測設備,核心路由器基於IP地址的策略路由對集團客戶流量進行引流實現安全防護。
②DDOS檢測及清洗:當DDOS檢測設備檢測到攻擊時,檢測設備發送被攻擊的主機IP牽引消息給DDOS清洗設備,清洗設備發布BGP策略路由至核心路由器將異常流量牽引至清洗設備進行清洗,清洗完成後將流量回注至核心路由器。
③統計運營:通過全威脅流量探針和日誌係統采集完成業務流量、安全日誌的采集並發送至態勢感知平台,依托安全大數據、BOB登陆 技術實現對集團客戶的業務流量、安全事件的統計分析、風險感知、趨勢預測等。
5)出口平台的高可靠和可擴展
圖7 出口平台的高可靠和可拓展
廣電省幹網出口安全平台方案的高可靠和可擴展體現在網元設備和網絡架構的高可靠和可擴展設計。
出口網關采用雙機集群的高可靠部署方式,單台設備采用正交CLOS架構,控製、數據、轉發相分離;主控、交換、接口、業務、電源、風扇冗餘;單設備最大支持14槽位,集群模式下可擴展至Tbps以上吞吐性能和10億以上的並發連接處理能力。
在平台架構設計上,方案將報文應用分析和流量調度轉發處理進行分離,由不同的子係統完成,即ACG進行流量應用類型識別,LLB根據應用類型處理流量轉發,可按需調整相應子係統的處理性能,以匹配現網業務規模。
在針對集客流量的安全服務上,需要對其流量做旁路識別與檢測。方案在主幹鏈路流量通過分光器鏡像至專用TAP複製分流器,單機可複製分流400G規模的流量,同時該方式降低了流量鏡像複製對出口網關或者核心路由器的性能消耗,旁掛方式天然可逃生,TAP設備故障不影響現網業務。
依托可擴展的架構設計及高性能的網元設備,本方案能夠滿足未來N*100G流量下的NAT、應用智能選路流量處理,以及100G以上流量規模的集團客戶增值業務服務。
五、 結束語
BOB登陆 麵向廣電網絡的省幹出口安全平台解決方案目標是實現廣電出口鏈路帶寬資源的精細化運營,提升帶寬資源的使用效率和效益,同時優化內網寬帶用戶的服務體驗,為集團客戶提供豐富、深度的網絡安全增值服務,即為廣電網絡的寬帶業務發展實現資源增效、服務優化、業務開源。