- 產品與解決方案
- 行業解決方案
- 服務
- 支持
- 合作夥伴
- 關於我們
09-URL過濾
本章節下載： 09-URL過濾 (528.95 KB)
本幫助主要介紹以下內容：
· 特性簡介
○ URL簡介
○ URL過濾規則
○ URL過濾分類
○ URL過濾動作
· 配置指南
○ 配置雲端服務器
URL過濾功能是指對用戶訪問的URL進行控製，即允許或禁止用戶訪問的Web資源，達到規範用戶上網行為的目的。
URL（Uniform Resource Locator，統一資源定位符）是互聯網上標準資源的地址。URL用來完整、精確的描述互聯網上的網頁或者其他共享資源的地址，URL格式為：“protocol://hostname[:port]/path/[;parameters][?query]#fragment”，格式示意如圖-1所示：
圖-1 URL格式示意圖
URL各字段含義如表-1所示：
表-1 URL各字段含義表
|
字段 |
描述 |
|
protocol |
表示使用的傳輸協議，例如HTTP |
|
host |
表示存放資源的服務器的主機名或IP地址 |
|
[:port] |
（可選）傳輸協議的端口號，各種傳輸協議都有默認的端口號 |
|
/path/ |
是路徑，由零或多個“/”符號隔開的字符串，一般用來表示主機上的一個目錄或文件地址 |
|
[parameters] |
（可選）用於指定特殊參數 |
|
[?query] |
（可選）表示查詢用於給動態網頁傳遞參數，可有多個參數，用“&”符號隔開，每個參數的名和值用“=”符號隔開 |
|
URI |
URI（Uniform Resource Identifier，統一資源標識符）是一個用於標示某一互聯網資源名稱的字符 |
URL過濾功能實現的前提條件是對URL的識別。可通過使用URL過濾規則匹配URL中host字段和URI字段的方法來識別URL。
URL過濾規則是指對用戶HTTP報文中的URL進行匹配的原則，且其分為兩種規則：
· 預定義規則：根據設備中的URL過濾特征庫自動生成，包括百萬級的Host或URI。預定義規則能滿足多數情況下的URL過濾需求。
· 自定義規則：由管理員手動配置生成，可以通過使用正則表達式或者文本的方式來配置規則中Host或URI的內容。
URL過濾規則支持兩種匹配方式：
· 文本匹配：使用指定的字符串對Host和URI字段進行匹配。
○ 匹配主機名字段時，首先判斷主機名開頭或結尾位置是否含有通配符“*”，若均未出現，則URL中的主機名字段與規則中指定的主機名字符串必須完全一致，才能匹配成功；若“*”出現在開頭位置，則該字符串或以該字符串結尾的URL會匹配成功；若“*”出現在結尾位置，則該字符串或以該字符串開頭的URL會匹配成功。若“*”同時出現在開頭或結尾位置，則該字符串或含有該字符串的URL均會匹配成功。
○ 匹配URI字段時，和主機名字段匹配規則一致。
· 正則表達式匹配：使用正則表達式對Host和URI字段進行匹配。例如，規則中配置host的正則表達式為sina.*cn，則Host為news.sina.com.cn的URL會匹配成功。
為便於管理員對數目眾多的URL過濾規則進行統一部署，URL過濾模塊提供了URL過濾分類功能，以便對具有相似特征的URL過濾規則進行歸納以及為匹配這些規則的URL統一指定處理動作。每個URL過濾分類具有一個嚴重級別屬性，該屬性值表示對屬於此過濾分類URL的處理優先級。
URL過濾分類包括兩種類型：
· 預定義分類：根據設備中的URL過濾特征庫自動生成，其嚴重級別不可被修改。
· 自定義分類：由管理員手動配置，可修改其嚴重級別，可添加URL過濾規則。
URL過濾配置文件是用於關聯所有URL過濾配置的一個實體。一個URL過濾配置文件中可以配置URL過濾分類和處理動作的綁定關係，以及缺省動作（即對未匹配上任何URL過濾規則的報文采取的動作）。
URL過濾黑/白名單規則功能根據應用層的信息進行URL過濾。如果用戶HTTP報文中的URL與URL過濾配置文件中的黑名單規則匹配成功，則丟棄此報文；如果與白名單規則匹配成功，則允許此報文通過。
在URL過濾配置文件中開啟URL過濾分類雲端查詢功能後，如果流經設備HTTP報文中的URL與該URL過濾配置文件中的過濾規則匹配失敗，則此URL將會被發向雲端URL過濾分類服務器進行查詢。雲端URL過濾分類服務器響應該請求，並向設備發送查詢結果，該結果中包含了URL過濾規則及其所屬的分類名稱，設備根據該結果執行相應的分類處理動作。如果雲端返回的分類在設備上沒有與其對應的分類動作或者雲端URL查詢失敗，則設備將對此報文執行URL過濾配置文件中的缺省動作。
URL過濾配置文件中可以設置配置文件的缺省動作和URL分類的動作，動作具體包括如下：
· 黑名單：表示將該報文的源IP地址加入IP黑名單。若設備上同時開啟了IP黑名單過濾功能，則一定時間內（安全動作指定的URL過濾的阻斷時間）來自此IP地址的所有報文將被直接丟棄；若沒有開啟IP黑名單過濾功能，則此IP黑名單不生效。有關IP黑名單過濾功能的詳細介紹請參見“攻擊防範聯機幫助”。
· 丟棄：表示丟棄報文。
· 允許：表示允許報文通過。
· 重定向：表示重定向動作，把符合特征的報文重定向到指定的Web頁麵上。
· 重置：表示通過發送TCP的reset報文從而使TCP連接斷開。
· 記錄日誌：表示生成報文日誌動作。開啟記錄日誌功能後此動作才能生效。
缺省情況下，設備僅對HTTP流量進行URL過濾，如果需要對HTTPS流量進行URL過濾，則可以選擇如下方式：
· 使用SSL解密功能：先對HTTPS流量進行解密，然後再進行URL過濾。有關SSL解密功能的詳細介紹，請參見“應用代理聯機幫助”。
· 開啟HTTPS流量過濾功能：不對HTTPS流量進行解密，直接對客戶端發送的HTTPS的Client HELLO報文中的SNI（Sever Name Indication extension）字段進行檢測，從中獲取用戶訪問的服務器域名，使用獲取到的域名進行URL過濾。
由於SSL解密功能涉及大量的加解密操作，會對設備的轉發性能會產生較大的影響，建議在僅需要對HTTPS流量進行URL過濾業務處理的場景下選擇“開啟HTTPS流量過濾功能”的方式對HTTPS流量進行URL過濾。
在開啟URL過濾功能的情況下，當用戶通過設備使用HTTP訪問某個網絡資源時，設備將進行URL過濾。URL過濾處理流程如圖-2所示：
圖-2 URL過濾實現流程圖
URL過濾實現流程如下：
1. 如果報文匹配了某個安全策略，且此策略的動作是允許並引用了URL過濾配置文件，則設備提取報文中的URL字段進行URL過濾規則匹配。
2. 如果報文與設備上URL過濾配置文件中的過濾規則匹配成功，則將進一步做如下判斷：
3. 首先判斷此URL過濾規則是否屬於URL過濾的黑/白名單規則。如果屬於URL過濾白名單規則，則直接允許此報文通過；如果屬於URL過濾的黑名單規則，則直接將此報文阻斷。
4. 如果此URL過濾規則既不屬於URL過濾白名單規則也不屬於URL過濾黑名單規則，則設備將進行如下判斷。
○ 如果此URL過濾規則屬於自定義URL過濾分類，則進一步判斷是否同時屬於多個自定義URL過濾分類。如果屬於多個自定義URL過濾分類，則根據嚴重級別最高的URL過濾分類的動作對此報文進行處理；如果僅屬於一個自定義URL過濾分類，則根據該分類的動作對報文進行處理。
○ 如果設備上啟用了URL信譽功能，則判斷此URL過濾規則是否屬於URL信譽特征庫中的某個攻擊分類。如果屬於，則根據該攻擊分類的動作對報文進行處理。
○ 如果此URL過濾規則屬於預定義URL過濾分類，則進一步判斷是否屬於多個預定義URL過濾分類。如果屬於多個預定義URL過濾分類，則根據嚴重級別最高的URL過濾分類的動作對報文進行處理；如果僅匹配一個預定義URL過濾分類，則根據該分類的動作對報文進行處理。
5. 如果報文未匹配上任何一條URL過濾配置文件中的過濾規則，則將進一步判斷URL過濾配置文件中是否開啟了URL過濾分類雲端查詢功能。如果分類雲端查詢功能已開啟，則將報文中的URL發向雲端URL過濾分類服務器進行查詢，否則進行第7步的判斷。
6. 如果URL雲端查詢成功，則進行步驟4中對自定義URL過濾分類和預定義URL分類的判斷，否則進行步驟7的判斷。
7. 如果設備上配置了URL過濾的缺省動作，則根據配置的缺省動作對此報文進行處理；否則直接允許報文通過。
本功能的支持情況與設備型號有關，請以設備實際情況為準。
使用文本方式對主機名和URI字段進行匹配時，對星號“*”有如下的限製：
· 匹配主機名字段時，“*”隻能出現在開頭或結尾，表示通配符，代表0到多個任意字符。
· 匹配URI字段時，當“*”出現在開頭或結尾，表示通配符，代表0到多個任意字符；當“*”出現在其他位置時，則作為普通字符進行匹配。
· 正則表達式中，總的分支不能超過四個。例如'abc(c|d|e|\x3D)'有效，'abc(c|onreset|onselect|onchange|style\x3D)'無效。
· 正則表達式中，括號不能嵌套，即括號中不能有括號。例如'ab((abcs*?))'無效。
· 正則表達式中，分支不支持串聯，即分支後麵不能有分支。例如'ab(a|b)(c|d)^\\r\\n]+?'無效。
· 正則表達式中，零次重複量詞'*'和'?'前麵必須有四個確定字符。例如'abc*'無效，'abcd*DoS\x2d\d{5}\x20\x2bxi\\r\\nJOIN'有效。
· 當報文匹配白名單規則時，URL過濾日誌中的URL過濾分類將顯示為白名單。
· 開啟內嵌白名單功能後，當報文與白名單內嵌的網頁鏈接匹配成功時，URL過濾日誌中的URL過濾分類將顯示為內嵌白名單。
· 開啟白名單模式後，當報文與白名單規則匹配失敗時，URL過濾日誌中的URL過濾分類將顯示為黑名單。
· 配置文件變更後（包括新建、編輯和刪除），需要激活才能生效。如需立即激活，請單擊<提交>按鈕。否則，設備默認40秒後自動激活。激活會暫時中斷DPI業務的處理，可能導致其他基於DPI功能的業務同時出現中斷。例如，安全策略無法對應用進行訪問控製等。
· 執行“提交”操作後，界麵上會提示設置成功，但是配置文件此時可能尚未完成激活，如果此時報文經過設備，可能會出現暫時無法識別的情況。
URL過濾功能需要購買並正確安裝License才能使用。License過期後，URL過濾功能可以使用設備中已存在的特征庫正常工作，但無法升級特征庫且雲端查詢功能無法使用。關於License的詳細介紹請參見“License聯機幫助”。
· 本功能僅支持基於URL過濾規則中的HOST字段過濾，對於URI字段的信息無法匹配。
· 本功能僅在訪問的服務器地址字段為域名的情況下生效，如果服務器地址字段為IP地址，則不生效。
· 如果客戶端瀏覽器啟用TLS 1.3降級強化機製功能選項，報文中的SNI字段將會被加密，本功能將失效。
· 如果HTTPS報文不支持SNI字段，本功能將失效。
URL過濾功能的配置思路如下圖所示：
圖-3 URL過濾功能配置指導圖
為便於管理員對數目眾多的URL過濾規則進行統一部署，URL過濾模塊提供了URL過濾分類功能，以便對具有相似特征的URL過濾規則進行歸納以及為匹配這些規則的URL統一指定處理動作。每個URL過濾分類具有一個嚴重級別屬性，該屬性值表示對屬於此過濾分類URL的處理優先級，數值越大表示嚴重級別越高。
當URL特征庫中預定義的URL過濾分類和URL過濾規則不能滿足對URL的控製需求時，可以新建URL過濾分類，並在分類中創建URL過濾規則。每個URL過濾規則可以同時屬於多個URL過濾分類。
新建自定義URL過濾分類的配置步驟如下：
1. 選擇“對象 > 應用安全 > URL過濾 > URL分類”。
2. 在“URL分類”頁麵單擊<新建>按鈕，進入“新建自定義URL過濾分類”頁麵。
3. 新建自定義URL過濾分類，具體配置內容如下：
表-2 自定義URL過濾分類配置內容
|
參數 |
說明 |
|
名稱 |
URL分類的名稱，不能以字符”Pre-“開頭，因為Pre-是預定義的URL分類名稱 |
|
描述 |
通過合理編寫描述信息，便於管理員快速理解和識別URL分類的作用，有利於後期維護 |
|
優先級 |
URL的嚴重級別屬性，創建URL過濾分類時必須配置此參數，數值越大表示嚴重級別越高，且不同的URL過濾分類的嚴重級別不能相同 |
|
包含預定義分類 |
為指定的URL過濾分類添加預定義分類中的所有URL規則 |
4. 單擊<添加>按鈕，添加URL。主機名表示對URL中的主機名字段進行過濾，URI表示對URL中的URI字段進行過濾。文本表示使用指定的字符串對主機名和URI字段進行匹配，正則表達式表示使用正則表達式對主機名和URI字段進行匹配。
5. 單擊<確定>按鈕，添加URL成功，返回新建自定義URL過濾分類頁麵。
6. 單擊<確定>按鈕，新建自定義URL過濾分類成功，且會在“URL過濾分類”頁麵的自定義分類中顯示。
雲端服務器的具體配置步驟如下：
1. 選擇“對象 > 應用安全 > URL過濾 > URL分類”。
2. 在“URL分類”頁麵單擊<配置>按鈕，進入“配置雲端服務器”頁麵。
3. 雲端服務器的具體配置內容如下：
表-3 雲端服務器配置內容
|
參數 |
說明 |
|
服務器地址 |
雲端服務器的地址，支持輸入IP地址或者域名。目前，僅支持配置我司雲端服務器 |
|
緩存URL條數 |
設備會將雲端服務器返回的查詢結果緩存在URL過濾緩存中，本參數用於配置URL過濾緩存中可以緩存的URL條數 |
|
緩存最短保留時間 |
本參數用於配置URL緩存的最短保留時長。未達到最短保留時間的URL不會被刪除。但是當配置的URL緩存條數小於當前已緩存的數目時，設備將從URL過濾緩存中刪除最老的URL，即使該URL未達到最短保留時間，也將被刪除 |
在一個URL過濾配置文件中可以開啟雲端查詢功能，可以配置文件的缺省動作，可以配置黑/白名單，也可以為不同的URL分類指定不同的動作。
若報文成功匹配的URL過濾規則同屬於多個URL分類，則根據嚴重級別最高的URL過濾中指定的動作對此報文進行處理。
白名單的優先級高於黑名單的優先級。
URL過濾配置文件的具體配置步驟如下：
1. 選擇“對象 > 應用安全 > URL過濾 > 配置文件”。
2. 在“URL過濾配置文件”頁麵單擊<新建>按鈕，進入“新建URL過濾配置文件”頁麵。
3. 新建URL過濾配置文件，具體配置內容如下：
表-4 URL過濾配置文件配置內容
|
參數 |
說明 |
|
名稱 |
URL過濾配置文件的名稱 |
|
缺省動作 |
當報文沒有與URL過濾配置文件中的規則匹配成功時，設備將根據配置文件中配置的缺省動作對此報文進行處理。缺省動作包括丟棄、允許、黑名單、重置和重定向 |
|
開啟雲端查詢功能 |
開啟此功能後，若流經設備HTTP報文中的URL與該URL過濾配置文件中的過濾規則匹配失敗，則此URL將會被發向雲端URL過濾分類服務器進行查詢 |
|
記錄日誌 |
URL過濾日誌是為了滿足管理員審計需求。開啟記錄日誌功能後，設備將對與URL過濾規則匹配成功的報文生成日誌信息，配置記錄日誌動作前需要先配置缺省動作 |
|
開啟HTTPS流量過濾功能 |
開啟本功能後，設備可以對未解密的HTTPS流量進行URL過濾 如果同時開啟了SSL解密功能，本功能將失效。有關SSL解密功能的詳細介紹，請參見“應用代理聯機幫助” |
|
開啟內嵌白名單功能 |
開啟本功能後，設備允許用戶訪問白名單網頁下內嵌的其他網頁鏈接 |
|
白名單模式 |
開啟本功能後，設備僅允許用戶訪問URL過濾白名單中的網站，其他網站均不允許訪問 |
|
白名單 |
若報文與白名單中的規則匹配成功，則直接允許此報文通過 |
|
黑名單 |
若報文與黑名單中的規則匹配成功，則直接丟棄此報文 |
|
URL過濾分類動作 |
若報文成功匹配的URL過濾規則同屬於多個URL過濾分類，則根據嚴重級別最高的URL過濾分類中指定的動作對此報文進行處理；若報文成功匹配的URL過濾規則隻屬於一個URL過濾分類，則根據該規則所屬的URL過濾分類的動作對此報文進行處理。動作包括丟棄、允許、黑名單、重置、重定向和記錄日誌。其中，配置記錄日誌動作前需要先配置其他動作 |
|
URL信譽 |
URL信譽功能用於阻斷惡意URL。開啟URL信譽功能後，設備將提取報文中的URL與URL信譽特征庫進行匹配，匹配成功則執行URL所屬攻擊類型的動作，如果匹配失敗，則放行該報文 |
|
動作配置 |
本功能用於配置URL所屬攻擊類型的動作，當報文中提取的URL與URL信譽特征庫匹配成功時，則對報文執行URL所屬攻擊類型的動作 |
4. 單擊<確定>按鈕，新建URL配置文件成功，且會在“URL過濾配置文件”頁麵中顯示。
5. 在安全策略的內容安全配置中引用此URL過濾配置文件，有關安全策略的詳細配置介紹請參見“安全策略聯機幫助”。
6. 新建配置文件後，需要激活才能生效。如需立即激活，請單擊<提交>按鈕。否則，設備默認40秒後自動激活。
不同款型規格的資料略有差異, 詳細信息請向具體銷售和400谘詢。H3C保留在沒有任何通知或提示的情況下對資料內容進行修改的權利!
支持
