引論：我們為您整理了13篇網絡流量監測范文，供您借鑒以豐富您的創作。它們是您寫作時的寶貴資源，期望它們能夠激發您的創作靈感，讓您的文章更具深度。

篇1

為了解決網絡環境下管理系統和基礎設施的協同工作以及管理集成問題，OASIS組織在IBM、HP、CA等著名公司的大力支持下，于2005年3月推出了Web服務分布式管理(Web services distributed manage-ment，WSDM)標準，對Web Service管理提供標準化的支持，通過使用Web Service來實現對不同平臺的管理。

WSDM是一個用于描述特定設備、應用程序或者組件的管理信息和功能的標準。所有描述都是通過Web服務描述語言進行的。WSDM標準實際上是由兩個不同的標準組成的，WSDM-MUWS標準以及WS-DM-MOWS標準。

圖1是WSDM的工作模式，可管理用戶發現這個Web Service端點，然后，通過與端點交換消息，從而獲取信息、定制事件以及控制與端點相關聯的可管理資源。WSDM規范側重于提供對可管理資源的訪問。管理是資源的一個可能具有的特性，可管理資源的實現是通過Web Service端點提供一組管理功能。WSDM架構不限制可管理資源的實現策略，實現方式包括直接訪問資源、用非方法、用管理等，實現細節對于管理消費者來說都是透明的。

WSDM作為一種功能強大的分布式系統集成解決方案，其主要特點如下：

(1)面向資源。WSDM的關注點是資源，因為一個資源就代表了多個Web服務，因此在該標準中，對資源屬性和功能的詳細描述顯得尤為重要。為此，WSDM采用了專門的Web標準(如WS-Resource)對資源相關信息進行定義。

(2)實現分離。由于采用與實現操作無關的WSDL語言定義接口，使得接口與服務實現了分離，所以無論Web服務其內在實現細節如何改變都不會對客戶端的操作方式有任何影響。這樣做不但較好地封裝了管理方法的實現細節，而且實現了對已有資源的重用。

(3)服務的可組合性。WSDM能隨著應用環境規模的變化而變化，首先，WSDM標準的自身實現只需定義較少的屬性和操作，使得其在小規模的系統中可以得到穩定的應用：其次，對于大規模應用環境而言，WSDM可以隨著應用需求的變化靈活地添加某些服務。從而在使用者和部署人員之間起很好的協調作用。

(4)模型的兼容性。主要表現在WSDM能描述和封裝任何資源模型(如cIM、SM-NP、SID等)，并為其提供相應的Web服務接口。

2　系統設計方案

網絡流量采集使用了三種技術：

(1)基于網管設備MIB的SNMP模式；

(2)基于網絡探針技術的IP流量數據捕獲模式；

(3)基于NetFlow技術的數據流捕獲模式。

針對基于SNMP模式，實現基于WSDM的SNMP網關，通過該網關收集SNMP設備上的MIB信息；針對基于網絡探針技術模式，可實現基于WSDM的網絡探針服務；針對基于NetFlow技術模式，流量數據是通過NetFlow的主動式數據推送機制獲得的，網絡設備中的NetFlow是通過規范的報文格式將流量數據送往指定主機，WSDM服務提供了接收和傳輸NetFlow流量數據的功能。

2.1　系統架構

流量監測系統結構可劃分為三個層次，即資源層、管理服務層、展示層，如圖2所示。

(1)資源層

資源層由提供流量采集服務的分布式流量采集器(WSDM Agent)組成，它們通過調用管理服務層的WSDM Agent注冊服務實行自主注冊，具備向管理服務層主動匯報、自主管理和主動服務等功能。

(2)管理服務層

管理服務層包括應用組件、服務組件、管理平臺以及數據庫。其中應用組件是對展示層提供支持的各種

管理服務，包括策略管理模塊、WSDM Agent管理模塊、流量數據管理模塊以及流量分析模塊等系統功能實現的模塊。服務組件是對資源層的各種WSDMAgent資源的支持，包括安全審計、日志服務、異常服務、自主管理等，主要是管理服務器自主實現的一些功能。數據庫部分是應用組件中各模塊對應的數據存儲。中間層的管理平臺是管理服務層的核心，是對應用組件、服務組件以及數據庫的支持，包括Web服務、WSDM服務的引擎和API等。

(3)展示層

展示層實現流量狀態顯示。可以從流量數據庫中取得所要查詢的網絡流量歷史信息，也可以調用管理服務層提供的服務觸發流量信息更新采集實時的流量數據，還可以通過服務將合法用戶的操作信息送到管理服務層。根據用戶需求采用圖形用戶界面將流量態勢分析的結果展示出來。可提供多種格式的流量報表。

2.2　流量分析系統設計

流量分析系統是整個流量監測系統的核心。如圖3所示，該系統分為五個模塊：流量采集模塊、數據接收模塊、數據傳輸模塊、流量分析模塊、數據存儲與管理模塊。對照流量監測系統架構，流量分析系統結構中的這五個功能模塊分別位于總體架構的各個層次。

篇2

隨著網絡規模的日益擴大和網絡結構的日益復雜，導致計算機網絡管理的難度越來越大，相應的要求也變得越來越高。各種網絡活動都離不開網絡流量，網絡流量作為網絡用戶活動的主要載體，發揮著較為重要的作用。通過監測分析網絡流量，可以完成容量規劃、鏈路狀態監測、異常監測、網絡性能分析等，對于計算機網絡的維護和運行都能夠發揮重要作用。如netcounter是一款簡單易用的網絡流量監控軟件。它可以分別顯示手機網絡和wifi當天、本周、本月和所有時間的流量統計。本文就計算機網絡管理中網絡流量監測進行研究。

1 網絡流量的特征

1.1 大部分TCP會話是短期的。對于TCP會話而言，超過90%的會話時間都不會超過幾秒，交換數據量一般都在5-10K字節，很少有能夠10K字節的。雖然遠程登陸和文件傳輸之類的TCP會話是長期的，但是百分之八十多的WWW文檔傳輸大小都是小于10K字節，而目前這種WWW文檔傳輸大幅度增加，從而導致大部分TCP會話是短期的。

1.2 數據流是雙向的，但通常是非對稱的。對于計算機網絡而言，大部分互聯網應用都不采用單向交換，而是雙向交換數據，所以，網絡流量也自然都是雙向的。但通常這兩個方向的數據率存在很大的差異，主要原因就在于：網站到客戶端的數據量會由于網站下載而比客戶端到網站的數據量多。

1.3 網絡通信量具有局域性。對于網絡流量而言，一般都包括兩種局域性，分別是空間局域性和時間局域性。用戶通過互聯網應用層來對網絡進行訪問，主要是在包的目的地址和時間上進行體現，從而顯示出空間局域性（基于空間相關）和時間局域性（基于時間相關）。

1.4 包的到達過程不是泊松過程。按照傳統的通信網絡設計和排隊理論都假設泊松過程就是包的到達過程，也就是說，包到達的間斷時間的分布是獨立的指數分布。

例如電話、交通事故、地震等事件都是獨立地、按照一定的概率來發生的，這也就是泊松到達過程。但是根據近年來測量互聯網絡通信量的顯示結果表明，泊松過程已經不再是包到達的過程。包的到達具有有突發性，在很多時候都會有多個包連續到達，包到達的間斷時間不是獨立分布的，同時也不服從指數分布。包的到達過程已經不能被泊松過程來精確描述。造成這樣的原因部分在于數據傳輸所使用的協議。這種非泊松結構使得人們在研究網絡的可靠性時不再采用簡單的泊松模型，從而使得網絡通信量模型的研究大大促進。

2 計算機網絡管理中網絡流量監測的方法

在深入了解互聯網通信特性之后，我們在監測網絡流量的時候就可以采取相應的技術措施。從目前的實踐經驗來看，計算機網絡管理中網絡流量監測的方法主要有兩種，分別是被動測量和主動測量。

2.1 主動測量。主動測量的工作原理就是通過測量設備來測量端到端的網絡流量和網絡特征，進而了解被測網絡當前提供數據傳輸的能力和具體的運行狀態。在主動測量網絡流量的過程中，網絡測量系統應當由四個部分構成，分別是分析服務器、中心數據庫、中心服務器、測量節點。

主動測量網絡流量的最大優點就在于三個方面，分別是靈活性、可控性、主動性都較好，而且還能夠直觀地統計端到端的性能。但是主動測量網絡流量的方法也存在著不足之處，那就是實際情況與我們所獲得的結果存在著一定的偏差，主要原因在于主動測量是主動對網絡注入流量。

2.2 被動監測。被動測量其監測原理是通過部署一定的網絡設備和監測點來被動地獲取網絡流量的數據和相關信息，這是一種典型的分布式網絡監測技術。被動監測恰恰彌補了主動監測的缺點和不足，它不會對原有網絡流量進行改變，自然也就不會如主動監測一樣造成這樣大的偏差，實踐也證明了這一點。但是被動監測也存在著自身的不足，主要就是它采集數據和相關信息是從單個點或設備進行的，這種實時采集的方式很有可能會泄露數據，也很難有效分析網絡端對端的性能看，采集信息數據量過大，但是總的來說，被動測量的優點是占主導地位的，所以被動測量比主動測量應用更為廣泛，正在被大量地應用在對網絡流量分布進行分析和測量中。

3 網絡流量監測技術的具體應用

3.1 為網絡出口互聯鏈路的設置提供決策支持。通過有效地分析網絡出口流向和流量，能夠有效地掌握網絡內部用戶對于網絡的訪問情況，從而可以有效的決策，減少互聯鏈路中的浪費現象，有效地節約開支。同時，通過網絡流量監測與分析，能夠為各種網絡優化措施，如路由選擇、重要鏈路帶寬設置、多出口流量負載均衡等提供正確的數據依據。

3.2 網絡流量監測可以對網絡運行商提供大客戶統計分析和重要應用的統計分析。通過對這些流量進行統計分析，可以有效地分析網絡帶寬成本，有助于在網絡成本和網絡服務質量二者之間取得最佳平衡點，既讓大客戶滿意，又能夠讓網絡運行商有較好的盈利。同時，通過監控分析大客戶接入電路上的流量，能夠有效地統計出通信數據量、通信時間、服務等級、業務類型等多個參數，為基于服務等級協議（SLA）和IP的計費應用的校驗服務提供正確的數據依據。

3.3 通過對各個分支網絡出入流量的監控，分析流量的大小、方向及內容組成，了解各分支網絡占用帶寬的情況，從而反映其占用的網絡成本，作出價值評估。

3.4 掌握網絡內部用戶對其他運營商的網絡訪問情況。通過監控網絡內部用戶對其他運營商的網絡訪問情況，可以有效地掌握用戶對于那些網站有興趣，也可以準確地分析網絡內部用戶訪問外網主要流量方向及業務特點，根據分析結果來有的放矢，找到廣大網絡用戶感興趣的熱點信息，然后對自己的網絡內容進行相應的補充和建設，減輕用戶流失。同時，長期監控一些特定網絡流量，有助于網絡流量模型被網絡管理人員所了解、所掌握，網絡管理人員可以通過所掌握的基準數據來對網絡使用狀況進行正確的分析，在網絡安全存在隱患的時候就能夠及時異常警訊，采取相應的防御措施，從而使得整個網絡的整體效能和整體質量都得到大幅度的提升。

4 結語

篇3

文獻標識碼：A

文章編號：1007-3973（2012）003-075-02

1 WinPcap的功能

Winpcap(windows packet capture)是Windows平臺下一個免費的SDK，它為win32應用程序提供訪問網絡底層的能力。Winpcap不能阻塞、過濾或控制其他應用程序數據報的發收，它僅僅只是監聽共享網絡上傳送的數據報。

它提供了以下的各項功能：

(1)捕獲原始數據報，包括在共享網絡上各主機發送/接收的以及相互之間交換的數據報；

(2)在數據報發往應用程序之前，按照自定義的規則將某些特殊的數據報過濾掉；

(3)在網絡上發送原始的數據報；

(4)收集網絡通信過程中的統計信息。

2 WPcap.dll

動態鏈接庫wpcap.dll。它也是提供給開發者的API，它輸出一組與系統有關的函數，用來捕獲和分析網絡流量。

3 主要設計與開發的內容

本系統實現的功能主要實現網絡流量監測與統計分析。在用戶方面，該系統實現了計算網絡流量與網絡協議分析等具體功能；在整個項目方面，該系統作為網絡異常告警與智能分析的基礎模塊。

流量監測是以圖形的方式實時顯示出流量的大小。

流量統計分析包括ARP數據包統計、TCP數據包統計、UDP數據統計、ICMP數據包統計、廣播數據包統計等。包括的子項有：

(1)每個數據包的時間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號、數據包大小。

(2)統計一段時間內某種協議的數據包個數及總大小。

(3)按源IP和目的IP統計某個IP地址到另一個目的IP的某種協議的數據包時間、源IP地址、源MAC地址、目的IP地址、目的MAC地址、端口號、大小。

(4)按源IP或者目的IP統計某個IP地址的某種協議的數據包總大小及總大小。

4 總體設計方案

整個軟件分為三個子模塊。三個模塊為：數據包統計分析模塊、流量監測模塊、用戶模塊(界面模塊)。

統計分析模塊主要基于WinPcap捕包原理，通過截獲整個網絡的所有信息流量，根據信息源主機，目標主機，服務協議端口等信息按照ARP、TCP、UDP、ICMP、廣播協議過濾分析、統計。

本模塊要將網絡中各種層次中的協議進行對比分析，對已知數據字段進行分析，這種分析是逐層進行的。因為數據包的結構都是自頂向下層層的添加數據包頭，而且每層的包頭都有固定的長度，所以根據特定位置來判斷協議類型也就變得簡單。在本系統中，采用的是網絡中的OSI標準，即網絡的七層結構。

流量監測是流量的短期分析。該模塊主要實現如下功能：網絡總流量的實時查看，網絡輸出流量的實時查看，網絡輸入流量的實時查看。

用戶模塊（界面模塊）本系統主要采用Visual studio 2008平臺來設計用戶界面，使其界面與Windows保持最大的一致。

5 統計分析模塊詳細設計

編寫WinPcap應用程序首先獲得主機的所有網卡。WinPcap用函數pcap_findalldevs()來實現，該函數返回一個pcap_if的鏈表，鏈表中包含了每一個網卡的詳細信息。

打開設備的函數是pcap_open()，它有三個參數snaplen、flags和to_ms。snaplen參數用來制定捕獲包的特定部分。如果網卡設置成混雜模式，Winpcap能獲得其他主機的數據包。to_ms 參數指定讀數據的超時控制，超時以毫秒計算。當在超時時間內網卡上沒有數據到來時，對網卡的讀操作將返回。

當設備被打開，調用函數pcap_dispatch()來捕獲數據包。pcap_dispatch()可以不被阻塞。這個函數都有返回的參數，一個指向某個函數的指針，Libpcap調用該函數對每個從網上到來的數據包進行處理和接收數據包。另一個參數帶有時間戳和數據包長度等信息，最后一個是含有所有協議頭部數據包的實際數據。MAC的冗余校驗碼一般不出現，因為當一個幀到達并被確認后網卡就將它刪除。

當對網絡數據包的分析的時候，必須先分析鏈路層，其次分析網絡層，之后是傳輸層，最后分析應用層。

由于本程序只分析以太網的協議，所以去掉以太網協議的部分，剩下的就是IP協議的數據；IP協議部分包括 TCP和UDP協議的數據包；之后分析TCP和UDP等傳輸層的協議，將傳輸層協議部分舍去，留下來的是應用層協議；最后解析應用層協議。

基于以太網協議內容的進行分析，判斷以太網類型的值：如果是0x0806，表示ARP協議，則分析ARP協議；如果是0x0800，表示協議為IP協議，則分析IP協議,在分析IP協議時，根據協議類型的值判斷傳輸層協議類型：如果IP協議類型字段的值是6，表示協議為TCP協議，則分析TCP協議。

統計分析模塊將分為五個功能的詳細設計分別是ARP數據包統計、TCP數據包統計、UDP數據統計、ICMP數據包統計、廣播數據包統計。

6 流量監測模塊詳細設計

網絡流量監測的思想是：對流入和流出網卡的數據包進行檢測并對數據包的長度進行累加，從而得到流量數據。由于Windows NT/2000/XP/7提供了一個系統性能的接口（注冊表），所以需要做的就是訪問這個接口，得到數據流量。

具體實現通過PDH和讀取注冊表中的系統性能數據來實現流量的監測模塊。PDH是英文Performance Data Helper的縮寫。隨著PDH逐漸成熟，為了使該數據庫的使用變得容易，Microsoft開發了一組Performance Data的API函數，包含在PDH.DLL文件中。使用PDH API基本上包括5個步驟。

創建一個查詢；向查詢中添加計數器；搜集性能數據；處理性能數據；關閉查詢。

在本系統中將采用查詢注冊表的方式完成PD的查詢。本系統中用到了一個注冊表函數RegQueryValueEx，該函數根據一個開放的注冊表鍵值和一個具體的名字值查找相關的類型和數據。

參考文獻：

[1]　劉敏,過曉冰,伍衛國,等.針對網絡掃描的監測系統[J].計算機工程,2002,28(2):77-78.省略/Class/winpcap/index.html.

篇4

隨著電力行業的改革深入，行業競爭的日益激烈，如何在最短的時間里，以最好的服務質量、最低的服務成本提供給用戶服務是電力行業企業信息化要實現的目標。在面對當前業務飛速發展、新服務不斷出現和客戶需求日益提高的情況下，網絡系統的運維管理面臨著很大的挑戰：業務子系統復雜，故障查找難度大，網絡時而緩慢，對網絡業務的可視性、可控性降低。因此，建立一個網絡流量分析系統十分重要【1】。

隨著電力企業信息化的不斷深入發展,信息化網絡的規模越來越大, 網絡應用也越來越廣泛，對網絡帶寬資源、業務流量、用戶訪問量等方面都缺乏可見性和可控性。為了更好地管理網絡運行狀態,提高公司信息化網絡的業務管理效率，降低運營成本，需要對信息網絡從“流量”這個根本因素出發,進行精細化的監控管理。為整個網絡的高效運行維護提供一個高可用性的管理平臺，加強信息網絡的業務優勢，提高員工使用的滿意度，本文就信息網絡流量監測系統在電力企業的應用進行探討。

2.網絡流量監測系統在電力行業中的使用背景

2.1 使用網絡流量監測系統的必要性

隨著信息化技術在電力行業IT網絡系統中的廣泛運用，大量的網絡流量產生，如何對網絡流量進行有效管理，保障關鍵業務的正常運行，提高網絡傳輸效率、可靠性、穩定性，以及安全性等，對電力企業整個計算機信息網絡的IT環境健康、和諧的運營是至關重要的。

對電力網絡進行全網流量流向分析，多維度地展現業務流量分布情況和網絡帶寬資源的使用情況，了解網絡不同屬性流量分布，預測流量變化趨勢，找出網絡瓶頸，為網絡規劃、優化調整提供基礎依據；對網絡應用進行深入分析，可以清晰地掌握網絡的應用行為，為設計實施更好的用戶服務及產品提供了可靠的基層數據【2】。

網絡流量監測系統可以提供基于電力行業業務應用（包括ERP、售電、生產管理、協同辦公、郵件等系統的應用流量、SCADM/EMS、DTS、DMIS等電力調度系統的應用流量、基于SG186系統及其各關鍵業務子系統的應用流量）的分析；提供基于電力網絡的用戶分析；提供基于電力網絡的訪問行為分析；以及提供基于電力網絡的異常流量監控分析。

2.2 網絡流量監測系統的目標

電力企業信息網中部署流量監測分析管理系統，通過全網流量實時監測，對網絡設備性能狀態、吞吐量、帶寬資源利用率、異常流量監控預警、業務應用流向分布等進行精細化的運維管理；提供全面的網絡流量可視化、量化的運行數據報告；提供網絡異常流量的監控分析，減少網絡故障診斷、異常偵測分析的難度和時間；優化網絡，減少因網絡擁塞或異常而發生的延遲、中斷，保障網絡的運行效率。整體地提高信息網絡的可靠性和可用性。

通過使用網絡流量監測系統掌握網絡流量的特性、了解用戶的網絡行為；透視網絡流量狀態，分析用戶行為；量化網絡承載能力，為網絡服務優化提供輔助決策依據；檢測分析異常流量，提升網絡服務安全性。

使用流量分析管理系統，可以實現基于業務的流量流向和流量成分的分析性能，分析總體業務發展趨勢和訪問行為，為網絡瓶頸排除和性能優化提供依據；可以對網絡資源的使用情況進行精細化管理，避免因為資源使用過度或使用狀況不明所導致的網絡服務質量下降；可以實現性能統計和性能趨勢分析，提供靈活的報表功能，提高網絡運行維護水平；可以提供多樣的歷史資料條件查詢和統計分析，便于指導網絡的規劃和資源優化，為網絡業務發展提供數據依據；實現網絡的統一調配【3】。可以加強網絡的流量安全防范，建立系統化的流量管理體系，提高網絡訪問質量，增強用戶的自御能力。

3.網絡流量監測系統的性能

3.1全網流量流向分析

網絡流量監測系統采用獨立的硬件結構，獨自完成流量的采集、過濾、分析和數據的存儲。支持基于源IP、目的IP、源端口、目的端口進行詳細流量查詢；用戶可以自定義特定子網范圍，進行臨時及長期的精確流量監控；通過NetFlow接收網絡流量數據，同時結合SNMP協議對網絡設備運行提供全面監控、分析；能監測端到端的網絡流量；能夠看到網絡設備接口通斷狀態。

網絡流量監測系統通過對全網流量流向分析，可以同時接受多種網絡設備的NetFlow數據，并支持實時轉發流量數據，使用者根據要求快速擴展并進行綜合性的統計分析；具備流量排序功能，可做流量累積統計或實時流量分析，流量排序支持自動設定，可按時自動生成TOP N排序報表；通過集中分析管理系統對網絡中流量情況進行匯總，定義監控對象時，用戶可以定義源目的地址，傳輸協議，源目的端口，源目的AS，路由器物理端口等條件實現全網關聯的關聯性流量分析，滿足對全網流量狀況的整體把握。

3.2 異常流量分析

篇5

1 引言

IP網絡具有體系架構開放、信息共享靈活等優點，但是因其系統開放也極易遭受各種網絡攻擊的入侵。網絡異常流量檢測屬于入侵檢測方法的一種，它通過統計發現網絡流量偏離正常行為的情形，及時檢測發現網絡中出現的攻擊行為，為網絡安全防護提供保障。在網絡異常流量檢測方法中，基于統計分析的檢測方法通過分析網絡參數生成網絡正常行為輪廓，然后度量比較網絡當前主體行為與正常行為輪廓的偏離程度，根據決策規則判定網絡中是否存在異常流量，具有統計合理全面、檢測準確率高等優點。基于相對熵的異常檢測方法屬于非參數統計分析方法，在檢測過程中無須數據源的先驗知識，可對樣本分布特征進行假設檢驗，可在缺乏歷史流量數據的情況下實現對網絡異常行為的檢測與發現。本文系統研究了模糊相對熵理論在網絡異常流量檢測中的應用，并搭建模擬實驗環境對基于模糊相對熵的網絡異常流量檢測方法進行了測試驗證。

2 基于模糊相對熵的多測度網絡異常流量檢測方法

2.1 模糊相對熵的概念

相對熵（Relative Entropy）又稱為K-L距離（Kullback-Leibler divergence），常被用作網絡異常流量的檢測方法。本文引入模糊相對熵的概念，假定可用來度量兩個概率分布P={p1，p2，...，...，pn}和Q={q1，q2，...，...，qn}的差別，其中，P、Q是描述同一隨機過程的兩個過程分布，P、Q的模糊相對熵定義為：

S（P，Q）=[Pi ln+（1-pi）ln] （1）

上式中qi可以接近0或1，這會造成部分分式分母為零，因此對（1）式重新定義：

S'（P，Q）=[Pi ln+（1-pi）ln]（2）

模糊相對熵為兩種模糊概率分布的偏差提供判斷依據，值越小說明越一致，反之亦然。

2.2 多測度網絡異常流量檢測方法流程

基于模糊相對熵理論的多測度網絡異常檢測具體實施分為系統訓練和實際檢測兩個階段。系統訓練階段通過樣本數據或監測網絡正常狀態流量獲取測度的經驗分布，實際檢測階段將實測數據獲取的測度分布與正常測度分布計算模糊相對熵，并計算多個測度的加權模糊相對熵，根據閾值判定網絡異常情況，方法流程如下：

Step1：獲取網絡特征正常流量的參數分布。通過樣本數據或監測網絡正常狀態流量獲取各測度的經驗分布。

Step2：獲取網絡特征異常常流量的參數分布。對選取網絡特征參數異常流量進行檢測獲取各種測度的概率分布。

Step3：依據公式（2）計算單測度正常流量和異常流量間模糊相對熵Si。

Step4：計算多測度加權模糊相對熵S。

S=α1S1+α2S2+…+αkSk （3）

式中αk表示第k個測度的權重系數，由測評數據集統計分析獲得。

最終，根據S建立不同的等級閾值來表征網絡異常情況。S越大，表示網絡流量特征參數分布偏離正常狀態越多，網絡中出現異常流量的概率越大；S越小，表示網絡流量特征參數分布與正常狀態吻合度越好，網絡中出現異常流量的概率越小。

3 測試驗證

為測試方法的有效性，搭建如圖1所示的實驗環境，模擬接入層網絡拓撲結構、流量類型和流量負載情況。測試環境流量按業務域類型分類，主要分為視頻、語音、數據三種業務域，按每個業務單路帶寬需求計算，總帶寬需求約為2368kbps～3200kbps。

（1）檢測系統接入交換機鏡像端口，系統部署環境。

①硬件環境：Intel（R） Core（TM） 2 Duo CPU 2.00GHz，2.0G內存；②操作系統環境：Windows XP，.NET Framework 3.5；③數據庫系統：Microsoft SQL Server 2005 9.00.1399.06 （Build 2600： Service Pack 3）。

測試環境交換機采用華為S3050C，用戶主機接入點配置如表1所示。

測試網絡正常流量狀態方案配置。

①1號主機架設視頻服務器模擬視頻業務域，單路平均帶寬需求2.59Mbps；②2、3號主機架設音頻服務器模擬語音業務域，單路平均帶寬需求128kbps；③4、5、6號主機采用應用層專用協議和傳輸UDP協議模擬發包程序模擬數據業務域，單路平均帶寬需求64kbps。

按上述方案配置網絡環境，交換機網絡流量負載約為2.996Mbps。

3.1 測試用例設計

網絡中的異常行為主要包括非法網絡接入、合法用戶的違規通信行為、網絡攻擊及未知的異常流量類型等，系統將其定義為四類：帶寬占用、非法IP地址、非法IP會話、模糊相對熵異常四類異常事件，其中模糊相對熵異常可根據經驗數據設定多個閾值等級。測試用例以網絡正常流量為背景流量，根據測試目的添加異常流量事件。測試用例設計及實驗測試過程如表2所示。

3.2 結果分析

測試用例持續監測網絡兩小時。根據模糊相對熵數據輸出，繪制ROC曲線，檢測率與誤警率的關系如圖2所示。通過ROC曲線，能夠準確反映模糊相對熵異常流量檢測方法檢測率與誤警率的關系。權衡檢測率與誤警率，選擇合適的閾值。當模糊相對熵閾值設定為39.6時，系統檢測率為84.36%，誤警率為3.86%，表明檢測系統對未知異常流量具有較好的檢測效果。

4 結束語

基于模糊相對熵的網絡異常流量檢測方法可以在不具備網絡歷史流量信息的情況下，通過對網絡流量特征進行假設檢驗，實現對網絡異常行為的檢測發現。實驗測試結果表明，設定合理的模糊相對熵閾值，該方法的檢測率可達84.36%。在下一步的工作中，將研究自學習式閾值設定方法，以及對模糊相對熵方法進一步優化，提升方法的準確性和效率。

參考文獻

[1] 蔣建春，馮登國等.網絡入侵檢測原理與技術[M].北京： 國防工業出版社，2001.

[2] 蔡明，嵇海進.基于ISP網絡的DDoS攻擊防御方法研究[J].計算機工程與設計，2008， 29（7）：1644-1646.

[3] Francois Bavaud. Relative Entropy and Statistics[EB/OL].http：//unil.ch/webdav/site/imm/users/ fbavaud/private/IT_statistics_bavaud.pdf.，2011-05-16.

[4] 張亞玲，韓照國，任姣霞.基于相對熵理論的多測度網絡異常檢測方法[J].計算機應用，2010， 30（7）：1771-1774.

[5] 李涵秋，馬艷，雷磊.基于相對熵理論的網絡Dos攻擊檢測方法[J].電訊技術， 2011， 51（3）：89-92.

[6] 張登銀，廖建飛.基于相對熵理論網絡流量異常檢測方法[J].南京郵電大學學報（自然科學版），2012， 32（5）：26-31.

[7] 胡為，胡靜濤.加權模糊相對熵在電機轉子故障模糊識別中的應用[J].信息與控制，2009， 38（3）：326-331.

作者簡介：

篇6

1大數據下網絡異常流量檢測方法研究

光纖網絡利用光在玻璃纖維實現光波通信，大數據集成調度，然后通過交換機分配IP。光纖通信傳輸距離遠，云計算環境通過波分復用技術使光強度變化，通信中受到干擾導致通信信道配置失衡，需要對云計算光纖網絡大數據異常負載優化檢測，提高網絡通信的輸出保真性[1]。云計算光纖網絡中大數據異常負載檢測模型研究需要提取大數據負載異常特征，實現異常負載檢測。

2網絡異常數據檢測大數據分析平臺

網絡異常流量分為DDoS、NetworkScan等類型，異常流量類型可從目的IP地址、源IP地址、字節數等特征區分[2]。DDos異常流量可通過特征二四五七檢測；NetworkScan異常流量可采用多個網絡地址對主機端口掃描動作；FlashCrowd異常流量由異常用戶對訪問資源申請動作。本文以影響網絡安全異常流量檢測為研究內容，運用現有數據樣本對建立檢測模型訓練，對訓練后識別分析模型檢驗[3]。研究異常流量類型包括U2R攻擊類型、Probing攻擊類型等，需要對數據特征提取分析，對入侵事件進行分類[4]。應用多種入侵事件特征數據，包括離散不間斷協議、離散常規行為、離散接點狀態、不間斷數據源到目標數據比特數、持續創建新文件個數等。為避免兩種衡量標準相互干擾，需對離散數據采用連續化操作。云計算平臺迅速占領市場，目前應用廣泛的是Apache開源分布式平臺Hadoop，Hadoop云計算平臺由文件系統、分布式并行計算等部分組成[5]。MapReduce將傳統數據處理任務分為多個任務，提高計算效率（見圖1）。MapReduce編程核心內容是對Map函數進行特定動作定義，Map核心任務是對數據值讀取，InputFormat類將輸入樣本轉換為key/value對。發現tasktracker模塊處于空閑狀態，平臺把相應數據Split分配到Map動作中，采用createRecordReader法讀取數據信息，tasktracker處于工作狀態程序進入等待。

3大數據分析模型

隨著待處理數據規模劇增，單臺計算機處理數據速度過于緩慢，云計算系統以Hadoop為平臺基礎，提高計算效率。基于Hadoop平臺對網絡異常流量操作，向平臺提交網絡流量檢測請求，工程JAR包運行，通過JobClient指令把作業發送到JobTracker中，從HDFS中獲取作業分類情況。JobTracker模塊執行任務初始化操作，運用作業調度器可實現對任務調度動作。任務分配后進入Map階段，所需數據在本地磁盤中進行存儲，依靠計算機Java虛擬機執行實現JAR文件加載，TaskTracker對作業任務處理，需要對文件庫網絡流量特征測試，Map動作結果在本地計算機磁盤中存儲。系統獲得Map動作階段計算結果后對網絡流量分類，中間結果鍵值相同會與對應網絡流量特征向量整合，ReduceTask模塊對MapTask輸出結果排序。Reduce動作完成后，操作者通過JobTracker模塊獲取任務運行結果參數，刪除Map動作產生相應中間數據。BP神經網絡用于建立網絡流量檢測模型，MapReduce平臺具有高效計算優勢，最優參數結果獲得需多次反復計算優化，MapReduce平臺單詞不能實現神經網絡計算任務，采用BP神經網絡算法建立網絡流量檢測模型會加長計算時間。本文采用支持向量機算法建立網絡流量檢測模型。支持向量機以統計學理論為基礎，達到經驗風險最小目的，算法可實現從少數樣本中獲得最優統計規律。設定使用向量機泛化能力訓練樣本為（xi,yi），i=1，2，…，I，最優分類平面為wx+b=0，簡化為s.t.yi（w?xi+b）-1≥0，求解問題最優決策函數f(x)=sgn[∑i=1lyiai(x?xi)+b]，支持向量SVM把樣本x轉化到特定高維空間H，對應最優決策函數處理為f(x)=sgn[∑i=1lyiaiK(x?xi)+b]。云計算Hadoop平臺為建立網絡異常流量檢測模型提供便捷。MapReduce模型通過Reduce獲得整體支持向量AIISVs，通過Reduce操作對SVs收集，測試操作流量先運用Map操作對測試數據子集計算，運用Reduce操作對分量結果Rs統計。

4仿真實驗分析

為測試實現云計算光纖網絡大數據異常負載檢測應用性能，采用MATLAB7進行負載檢測算法設計進行云計算光纖網絡中大數據異常負載檢測，數據樣本長度為1024，網絡傳輸信道均衡器階數為24，迭代步長為0.01。采用時頻分析法提取異常負載統計特征量進行大數據異常負載檢測，重疊干擾得到有效抑制。采用不同方法進行負載異常檢測，隨著干擾信噪比增大，檢測的準確性提高。所以設計的方法可以有效檢測大數據中異常負載，并且輸出誤碼率比傳統方法降低。單機網絡異常流量檢測平臺使用相同配置計算機，調取實測數據為檢驗訓練源數據，選取典型異常流量200條數據樣本用于測試訓練。采用反饋率參量衡量方法好壞，表達式為precision=TP/FP+FN×100%，其中，FN為未識別動作A特征樣本數量；TP為準確識別動作A特征樣本數量；FP為錯誤識別動作A特征樣本數量。提出檢測方法平均準確率提高17.08%，具有較好檢測性能。對提出網絡異常流量檢測方法進行檢測耗時對比，使用提出網絡異常流量檢測方法耗時為常規方法的8.81%，由于使用檢測方法建立在大數據云計算平臺，將檢測任務分配給多個子任務計算平臺。使用KDDCUP99集中的數據進行網絡異常流量檢測分析，選取R2L攻擊，Probing攻擊異常流量數據用于檢測分析，采用準確率參數衡量檢測方法宏觀評價網絡流量檢測識別方法：r=TP/FP+FN×100%。使用單機平臺下SVM算法建立網絡異常檢測模型對比分析，本文研究檢測模型平均識別率為68.5%，研究網絡異常流量檢測模型檢測準確率提高28.3%。多次試驗對比檢測耗時，使用本文提出網絡異常流量檢測耗時較短。

【參考文獻】

[1]林昕，呂峰，姜亞光，等.網絡異常流量智能感知模型構建[J].工業技術創新，2021（3）：7-14.

[2]武海龍，武海艷.云計算光纖網絡中大數據異常負載檢測模型[J].激光雜志，2019（6）：207-211.

[3]農婷.大數據環境下的網絡流量異常檢測研究[J].科技風，2019（17）：84.

篇7

Modeling and forecast of wireless network traffic

based on combinatorial optimization theory

CHEN Huafeng1， 2， LIU Jianing3

（1. School of Information Science and Technology， Hainan Normal University， Haikou 571158， China；

2. College of Qionghai Distance Education， Hainan Open University， Qionghai 571400， China；

3. Information Network and Data Center， Hainan Normal University， Haikou 571100， China）

Abstract： Since the wireless network traffic is synthetically affected by the factors of online cost and online behavior， it has the characteristics of randomness and periodic variation. To solve the difficulty that the single model can′t describe the change characteristic comprehensively， a wireless network traffic prediction model based on combinatorial optimization theory is put forward. The autoregressive integral moving average model is used to build the proposed model to find out the periodic variation rule of the wireless network traffic， the relevance vector machine is used to establish the model to find out the random variation characteristics of the wireless network traffic， and then the two prediction results are combined to realize the single step and multi?step wireless network traffic prediction experiments. The results show that the proposed model can describe the characteristics of randomness and periodic variation， and its prediction accuracy is higher than that of the single autoregressive integral moving average model or correlation vector machine.

Keywords： wireless network； autoregressive integral moving average model； modeling and prediction； combinatorial optimization theory

0 引 言

隨著無線網絡應用的拓寬，無線網絡用戶急劇增加，無線網絡流量大幅度增加，無線網絡的有效管理變得十分重要[1]。無線網絡流量的建模與預測可以幫助管理部門掌握人們的上網規律，提前掌握無線網絡流量的變化趨勢，因此建立高精度的預測模型具有重要的實際意義[2]。

最初人們采用多元線性回歸模型對無線網絡流量進行分析，建立無線網絡流量的回歸模型，并對將來無線網絡流量值進行估計[3]，該模型基于無線網絡流量呈線性增長的變化特點進行回歸預測，對于小規模無線網絡來說，預測精度高，而對于大規模、復雜無線網絡流量，預測精度低[4?5]。隨后有學者提出了采用自回歸積分滑動平均模型（ARIMA）對無線網絡流量進行分析，將無線網絡流量歷史值作為一個時間序列，找到數據之間的聯系，實現無線網絡流量的預測[6]，其與多元線性回歸模型相似，不能反映無線網絡流量的隨機變化特性[7]。最近，有學者采用神經網絡和支持向量機等對無線網絡流量進行建模[8?10]，它們可以反映無線網絡流量的隨機性變化特點，但無法對無線網絡流量的周期性變化特點進行描述，因此存在一定的局限性[11]。

針對無線網絡流量復雜變化的特點，為了解決單一模型預測精度低的難題，提出基于組合優化理論的無線網絡流量預測模型（ARIMA?RVM），首先采用自回歸積分滑動平均模型進行建模，然后采用相關向量機進行建模，最后采用單步和多步預測實驗分析其性能。

2 ARIMA?RVM的無線網絡流量建模與預測

（1） 對一個無線網絡系統進行分析，并采用網絡流量采集設備得到一段時間內的流量變化值。

（2） 采用ARIMA對無線網絡流量進行建模，對其周期性變化特點進行預測，并根據預測值與實際值估計ARIMA預測誤差。

（3） ARIMA預測誤差包含無線網絡流量的隨機性變化特點，因此采用RVM對ARIMA預測誤差進行建模與預測，對無線網絡流量的隨機性變化特點進行描述。

（4） 將ARIMA與RVM的無線網絡流量預測值組合在一起，得到無線網絡流量的最終預測值。

綜上所述可知，ARIMA?RVM的無線網絡預測模型的工作框架如圖1所示。

3 實驗結果與分析

3.1 無線網絡流量數據

采用某公司的無線網絡系統、每小時的流量值作為實驗對象，共得到500個樣本，具體如圖2所示，其中200個樣本作為測試數據。無線網絡流量預測結果的均方根誤差（RMSE）和相對百分比誤差（MAPE）定義為：

[RMSE=1nt=1nyt-yt2] （21）

[MAPE=1nt=1nyt-ytyt×100%] （22）

式中：[yt]和[yt]為真實值和估計值。

3.2 結果與分析

ARIMA?RVM，ARIMA以及RVM的無線網絡流量的單步預測結果如圖3所示。從圖3的預測值與實際值的變化曲線可以發現，ARIMA可以描述無線網絡流量的整體變化趨勢，預測誤差變化范圍大，預測精度低；而RVM僅能描述無線網絡流量的隨機性變化特點，預測誤差變化更大，預測結果沒有一點實際應用價值；而ARIMA?RVM的預測值與真實值的變化趨勢相同，預測誤差十分小，預測精度要遠遠高于ARIMA，RVM，這主要是由于ARIMA?RVM集成了ARIMA，RVM的優勢，可以對無線網絡流量的周期性和非線性變化特點進行建模與預測，克服了單一ARIMA以及RVM的不足。

RMSE和MAPE的單步統計結果見表1。ARIMA?RVM的RMSE要小于ARIMA和RVM，同時MAPE也得到了降低，說明ARIMA?RVM的無線網絡流量預測精度更高。

ARIMA?RVM，ARIMA以及RVM的無線網絡流量的多步預測結果如圖4所示。從圖4可以發現ARIMA的多步預測值與實際值的誤差很大，預測精度大幅度下降，同時RVM已經無法對無線網絡流量變化特點進行預測。ARIMA?RVM的多步預測值與真實值的誤差同樣變大，但預測誤差相對較小，完全可以滿足無線網絡流量誤差低于10%的實際應用要求，比ARIMA，RVM的性能具有十分明顯的優勢，對比結果證明了ARIMA?RVM的多步無線網絡流量預測的有效性，而且預測結果十分可信。

RMSE和MAPE的多步統計結果見表2。從多步預測結果的RMSE和MAPE可以發現，ARIMA?RVM的無線網絡流量預測結果仍然優于ARIMA和RVM，主要是由于ARIMA?RVM可以對無線網絡流量的隨機性、周期性進行描述，而ARIMA和RVM僅只能描述其中的一種變化特點，無法建立性能優異的無線網絡流量預測模型。

4 結 論

無線網絡的規模大、結構復雜，而且影響因素眾多，使得無線網絡流量同時具有周期性變化規律和隨機性變化的特點，而單一模型只能描述周期性變化點或者隨機性變化特點，預測效果比較差。為了全面描述無線網絡流量的變化趨勢，提出基于ARIMA?RVM的無線網絡流量預測模型，單步和多步的實驗結果表明，ARIMA?RVM通過ARIMA預測無線網流量的周期性變化規律，從整體上把握無線網絡流量的變化態勢，采用RVM對無線網絡流量的隨機性進行描述，從細節上把握其變化特點，獲得較高精度的無線網流量預測結果，具有廣泛的應用前景。

參考文獻

[1] NGUYEN T T， ARMITAGE G. A survey of techniques for Internet traffic classification using machine learning [J]. IEEE communications surveys and tutorials， 2008， 10（4）： 56?76.

[2] 姜明，吳春明，胡大民，等.網絡流量預測中的時間序列模型比較研究[J].電子學報，2009，37（11）：2353?2358.

[3] 陳森，周峰.基于灰色系統理論的網絡流量預測模型[J].統計與決策，2006（3）：59?60.

[4] 王俊松，高志偉.基于RBF神經網絡的網絡流量建模及預測[J].計算機工程與應用，2008，44（13）：6?11.

[5] 劉道文，忽海娜.基于網格搜索支持向量機的網絡流量預測[J].計算機應用與軟件，2012，29（11）：185?186.

[6] 張穎璐.基于遺傳算法優化支持向量機的網絡流量預測[J].計算機科學，2008，35（5）：177?180.

[7] 尹艷玲.基于自適應神經網絡的網絡流量預測研究[J].河南理工大學學報（自然科學版），2010，29（5）：700?704.

[8] 劉百芬，熊南.基于動態加權LS?SVM的網絡流量混沌預測[J].電視技術，2013，37（7）：87?90.

[9] 初良勇，田質廣，謝新連.組合預測模型在網絡流量預測中的應用[J].大連海事大學學報，2004，30（4）：43?46.

[10] 孫建豐，向小東.基于灰色線性回歸組合模型的網絡流量預測研究[J].工業技術經濟，2006，26（10）：146?148.

篇8

0 引言

目前，火焰檢測大多是通過使用點式光電感煙探測技術來執行的。這些方法在大的，開放空間和有固定延時的情況下檢測效果不好，這是因為燃燒粒子所到達傳感器所用時間的影響。文僅使用像素的顏色信息最為特征來檢測。文中的檢測方法使用傅里葉描述符來描述火焰的邊界。在文中，使用小波分析來解決FFT執行時窗口的選擇問題。這種方法依賴于小波能量，尋找小波能量最低且對噪聲是敏感的點。文中，作者提出一種系統，這種系統建模火焰像素作為一種固定空間像素小波系數的隱馬爾科夫模型，這種固定空間像素是在三中狀態之間變化的變量。此外，他們使用邊界區域光滑作為分類變量。這兩個屬性相結合作為一個弱分類器。在文中非煙區域使用背景估計和顏色信息進行濾波。然后，計算Lucas-Ka-nade光流并且使用流的統計信息來訓練神經網絡。

這些方法有一個共同點，就是不試圖區分類獨立的像素。本文為了檢測火焰和煙霧，同樣不去使用獨立的像素，以利于與火焰、火災煙霧顏色相近的實物的區分。基于該主要研究目的，提出了基于最優質量傳輸光流法的檢測算法，并結合神經網絡，對火焰和煙霧進行檢測。

1 分類器特征選擇

目前大多數的檢測方法都是基于啟發式模型，這種模型描繪火或者煙的大約特征，但這往往不是最優的。一個最基本的方法是從描述煙或者火的訓練數據中學習，訓練一個分類器如神經網絡等。訓練和測試的原理如圖1所示。

計算一個圖像序列的光流，而不是簡單的幀差，這允許考慮成像過程所期望的屬性；接下來會討論原因，基于最優質量傳輸的光流被計算用于火的分類，Horn-Schunck光流用于煙霧區域的分類。

圖1（a）通過人工標記樣本圖像序列創建訓練數據。樣本含有時空像素鄰域，這個鄰域被標記是否含有火，煙或者二者都沒有。通過系數矩陣有限差分求解器來計算最優質量傳輸光流。特征矢量是由含有R、G、B顏色通道和光流速度形成的，且特征矢量通過一個反向傳播神經網絡分類器進行分類處理。

圖1（b）在一個新的視頻幀中使用訓練的分類器權重為每個像素鄰域創建特征適量測試分類器。最終的輸出含有每個像素類成員的概率（煙、火都沒有）。

1.1 最優質量傳輸

最優質量傳輸問題起初是由Gaspar Monge在1781年提出的，且關注尋找將一堆土從一個地點移動到另一個地點最優的方式，其意義在于最小化傳輸成本。這個問題在Kantorovich研究中被給出一種數學構造，這就是熟知的Monge-Kantorovich問題。

我們現在給出Monge-Kantorovich問題的構造。令Ω0和Ω1是Rd的兩個子域，擁有光滑的邊界，每個有一個正的密度函數，分別是μ0和μ1。我們假設

這項總的相同質量是與Ω0和Ω1有關的。我們認為微分同胚映射u是從（Ω0，μ0）到（Ω1，μ1），微分同胚映射的意義是映射一個密度到其他的密度

（1）

也許有許多這樣的映射，并且從某種意義上來說我們想要選擇一種最優的。因此，定義LPKantorovich-Wasserstein度量標準如下：

（2）

（3）式中|Hω|表示ω的海森行列式。

因此，Kantorovich-Wasserstein度量定義兩個質量密度的距離，通過考慮式（2）給出的公式計算從一個域到另一個域最便宜的方式，最優傳輸映射在p=2是情況下，是某一種函數的梯度。這個結果的新穎之處在于，它像平面上的Riemann映射理論，這個過程指出一個特定的偏愛幾何學的映射。

1.2 光流法

光流是一種計算方法來計算在很短時間差內一組圖像間運動。主要的思想是每個圖像的灰度值在兩幀圖像間是不變的。這導出光流約束方程

（4）

（5）

注意方程（5）的一個潛在的假設是亮度恒定。在這種假設下，一個物體的亮度從一幀到另一幀是恒定的。這個假設適用于一個朗伯表面剛性物體但不是用于氣體和液體材料。在計算機視覺中，這些通過所謂的動態紋理建模。煙和火的典型的動態紋理具有內在動態，所以不能通過標準光流方法來進行捕獲。同時，煙/火區域流的速度比周圍地區的速度快的多，通過公式（5）給出的模型可能又會產生很多錯誤結果。

這篇文章的目聳腔竦酶好的光流場模型用于火和煙霧檢測。這樣做的一個方法是基于在這些過程中物理屬性的光流。一個簡單的屬性是火和煙大約使亮度守恒作為一個廣義質量并且以文中的最優方法進行移動。因此，一個恰當的數學上的光約束不是強度守恒而且質量守恒或者亮度守恒。這個模型被寫為

（6）

理由如下：

這意味著區域強度的總的變化率僅通過一個光流表示（邊界上進入或者出去的）。這是一個守恒定律。但是通過散度定理

這是一個精確無窮小亮度（質量）守恒條件。

下面是前面部分的解釋，本文提出了用于動態紋理分割的光流：

第一項是優化問題，代表移動圖像的總質量，第二項是質量守恒光流方程。

2 神經網絡分類分類器

煙霧檢測可以抽象為兩種模型，其檢測結果由給定的像素決定屬于有煙的情況或是無煙的情況。神經網絡的最小二乘計算模型滿足貝葉斯判別式。輸出的結果是關于一個像素屬于某一特定類的概率，因此決定像素屬于有煙情況或是無煙情況的閾值是使用者根據其期望設定的。根據貝葉斯定理，多個事件的后驗概率公式可以寫成如下形式：

（8）

上式中的x由Ck類滿足判別式yk（x，w）具有最大值時確定。如果x屬于Ck則目標值tk（x）=l，否則都為零。神經網絡每次輸出的誤差如下式所示：

（9）

當樣本數量趨近無限大時，在文中可以看出，反向傳播算法最小化下面的式（10）來縮小由神經網絡來產生的誤差

（10）式中的n代表類的數量。上式表明當數據點的數量趨近與無窮時，輸出的結果的判別式等價于后驗概率中）yk（x，ω）≈P（Ck|x）。因此，把x指定給類Ck，也就是映射具有最大值的判別式函數，相當于把x指定為具有最大后驗概率的這個類。

根據貝葉斯原理，確定判別式的形式。后驗概率如下式：

（11）

將文中ak=ln（p（x|Ck）p（Ck））的替換，式（11）也稱為softmax函數。此式恰恰是神經網絡使用的激勵函數。

假設類的條件概率密度p（x|Ck）屬于分布的限制指數族，則采用下面的形式：

（12）

將上式的密度代入式（11），得到的等式是關于ak（x）與x成線性關系：

（13）

因此，判別式采用激勵函數的形式，當非線性函數φ（x）的線性組合為變量時如下：

（14）式中f（?）為激勵函數。

在神經網絡中的非線性函數組成了隱藏單元，這些非線性函數是根據具體情況選擇的，而且它們是關于輸入的線性組合的函數。

（15）其中h（?）是一個柔性最大值（softmax）函數。本文所使用的神經網絡是完全被連接的，并且由一個含有20個隱藏單元的單隱層構成的，這個隱藏單元在隱藏層和輸出使用softmax非線性。

3 實驗結果

為了獲得如下結果，只需要6幀圖片來訓練神經網絡分類器。包括手動描繪的有火、無火、有煙和無煙的區域。樣本的數量要小并且出自同一視頻中。通過提供更多明顯的樣本，例如來自不同的視頻資源的有用和沒用的數據樣本。可以使分類器檢測更多的視頻。

神經網絡分類器的輸出結果為每個像素的后驗概率p（Ck|x），這里的類Ck指的是有火或煙和無火或煙，x是給定像素的特征向量，圖2中顯示了分類器的一個樣本輸出中一幀圖像的所有像素。根據閾值可以選擇像素的類，圖2顯示的是煙，圖3顯示的是火。

對圖2所示的圖片進行特征向量提取和相鄰時空像素最優質量傳輸光流速度值計算，并提供給神經網絡分類器。輸出的每個像素的概率屬于煙的類。如圖2（b）所示，這種選擇是根據閾值概率做出的。可見白煙是從白墻中區分出來的。

篇9

隨著網絡技術的迅猛發展，互聯網[1]已經被運用到千家萬戶，實時以及多媒體的傳播技術也在不斷普及，網絡流量將不斷增加，這對于現階段的網絡管理、維護以及檢測技術來說是一個不小的挑戰。有挑戰就存在一定的機遇，網絡流量監控是網絡管理中的一個重要組成部分，更是網絡性能分析以及網絡規劃設計的根基，為網絡管理者的網絡實施運行提供了技術平臺，并且能正確處理網絡出現的異常問題。

1 基于SNMP流量的監測技術

近幾年來，以NETFLOW以及SFLOW技術為代表的網絡流量監測技術的運用憑借其準確、高效等優勢在網絡管理中頗受寵愛，但是其部署也存在一定的局限性，主要表現在以下幾個方面：（1）該技術消耗網絡設備資源。（2）在大中型網絡中，該技術在每一個節點全面部署會產生大量的數據，如何高效便捷地處理這些數據對于網絡管理來說至關重要。即使利用提高采樣率來減少數據流量，但是隨著采樣率的不斷上升，很多有價值的信息也會隨之丟失。

綜上所示，現階段使用的NETFLOW以及SFLOW技術只適用于邊緣路由器的單獨部署。為了解決校園網方案中存在的一些問題，本文就提出了適用于校園區的網絡流量監測系統，此方案使用基于SNMP技術，在現階段的校園網絡上能夠較為廉價以及便捷地解決上述問題。

1.1 SNMP簡介

SNMP的全稱是簡單網絡管理協議，此協議是一種基于TCP/IP參考模型[2]的應用層互聯網網絡管理協議，能對于互聯網中的各式各樣的設備進行監控以及管理，它主要還包含了網絡管理站以及被管的網絡設備這兩個部分。被管的設備端運行者稱為設備的運用進程，其實現階段對于被管設備的各種被管對象的信息，例如流量等的收集以及對于這些被管對象的訪問支持。利用SNMP實現的網絡管理一般包含：管理進程利用定時來向各個設備的設備進程發送可查詢請求信息，，以便于跟蹤每一個設備的狀態。SNMP的作用是幫助網絡管理員提升網絡管理的主要性能，及時快速地發現并且解決網絡問題以及規劃網絡的增長。網絡管理員還可以利用SNMP接收網絡節點的通知消息，來告警事件報告等來獲知網絡出現的問題。

1.2 流量數據的采集

為了達到網絡流量的采集，設計了運用SNMP協議采集網絡設備MIB的方法，程序以輪詢的方式進行訪問MIB相對應的葉節點。SNMP是由三個部分組成的，分別是管理者、以及MIB，其中被管設備一定要啟動SNMP服務，管理者利用SNMP的相應操作通過獲得以及設置MIB變量的參數值，此處涉及到的一個共同體名是客戶進行提供的，與此同時，要能被服務器進程所識別的一個口令密碼，也正是管理進程請求的權限標志。MIB變量有簡單變量以及表格變量，對于簡單變量的訪問，通過對其對象標識符后面添加“0”來處理，利用get-request報文請求即可。

2 網絡流量監測技術的現狀及其發展趨勢

根據現階段的網絡流量的采集方式可以將網絡流量監測技術分為以下三個部分，分別是基于網絡流量全鏡像的檢測技術、基于SNMP的監測技術以及基于NETFLOW的監測技術。

網絡流量全鏡像的監測：它是現階段IDS主要使用的是網絡流量采集模式，其工作原理是利用交換機等網絡設備的端口鏡像或者是通過分光器、網絡探針等附加設備，實現了網絡流量的無損復制以及鏡像采集，該技術的主要特征是可以為管理者提供應用層的信息。

目前，網絡流量監測技術正在朝著迅猛提升的方向發展，其技術以及產品也正在不斷更新，也有朝著智能化發展的趨勢，主要表現在：流量自主學習，為判斷異樣流量提供強有力的證據。

3 采集過程中需要考慮的問題

3.1時間間隔的正確選擇

Cisco路由器[3]為IP Accounting Table 中建立了一個緩沖區，缺省設置為512行，如果超出了已經限定的行數，那么全新的數據就會丟失。所以，在采集數據的時候要選擇正確合適的時間間隔。假如兩次采集的時間間隔過長，就會使得數據庫中的數據溢出，之前的數據就會被覆蓋，最終造成數據的丟失；假如采集時間間隔過短的話，又會導致訪問路由器以及寫入的數據庫過于頻繁，最終造成整個系統的性能下降。

3.2 Trap技術的應用

假如在采集程序運行之前，計費信息就會超過路由器保留計費信息的緩沖區的大小，就會造成計費信息的丟失。為了防止此類情況的出現，我們就要運用SNMP中的事件驅動技術，也就是Trap技術。

3.3準確安全性的考慮

考慮到整個系統的健壯性能，設計方案就會引入主從式的設計，在整個系統中，引入一個從計費服務器作為主服務器的備份。從服務器上采集而來的數據過程是實時的，全天運行的。其系統要根據已經設定好的固定的時間間隔輪詢路由器IPAccountingTable表的讀寫情況，假如表的更新時間超過設定的最大更新周期，就會出現主服務器發生故障的狀況，根據服務器將進行數據的采集工作，為了防止數據的丟失。

本文利用分析了常見流量監控系統，提出了在校園中網絡上運用SNMP協議實現在網絡流量上的監控，本系統是架構于SNMP模式的管理者以及結構之上。此設計方案是在校園網上有較強的推廣價值，也被廣泛運用于其他網絡管理功能模塊的設計。

參考文獻

篇10

篇11

1.在IP網絡中采用網絡性能監測技術,可以實現

1.1 合理規劃和優化網絡性能

為更好的管理和改善網絡的運行,網絡管理者需要知道其網絡的流量情況和盡量多的流量信息。通過對網絡流量的監測、數據采集和分析,給出詳細的鏈路和節點流量分析報告,獲得流量分布和流向分布、報文特性和協議分布特性,為網絡規劃、路由策略、資源和容量升級提供依據。

1.2 基于流量的計費

現在lSP對網絡用戶提供服務絕大多數還是采用固定租費的形式,這對一般用戶和ISP來說,都不是一個好的選擇。采用這一形式的很大原因就是網絡提供者不能夠統計全部用戶的準確流量情況。這就需要有方便的手段對用戶的流量進行檢測。通過對用戶上網時長、上網流量、網絡業務以及目的網站數據分析,擺脫目前單一的包月制,實現基于時間段、帶寬、應用、服務質量等更加靈活的交費標準。

1.3 網絡應用狀況監測與分析

了解網絡的應用狀況,對研究者和網絡提供者都很重要。通過網絡應用監測,可以了解網絡上各種協議的使用情況(如www,pop3,ftp,rtp等協議),以及網絡應用的使用情況,研究者可以據此研究新的協議與應用,網絡提供者也可以據此更好的規劃網絡。

1.4 實時監測網絡狀況

針對網絡流量變化的突發性特性,通過實時監測網絡狀況,能實時獲得網絡的當前運行狀況,減輕維護人員的工作負擔。能在網絡出現故障或擁塞時發出自動告警,在網絡即將出現瓶頸前給出分析和預測。現在隨著Internet網絡不斷擴大,網絡中也經常會出現黑客攻擊、病毒泛濫的情況。而這些網絡突發事件從設備和網管的角度看卻很難發現,經常讓網絡管理員感到棘手。因此,針對網絡中突發性的異常流量分析將有助于網絡管理員發現和解決問題。

1.5 網絡用戶行為監測與分析

這對于網絡提供者來說非常重要,通過監測訪問網絡的用戶的行為,可以了解到:

1)某一段時間有多少用戶在訪問我的網絡。

2)訪問我的網絡最多的用戶是哪些。

3)這些用戶停留了多長時間。

4)他們來自什么地方。

5)他們到過我的網絡的哪些部分。

通過這些信息,網絡提供者可以更好的為用戶提供服務,從而也獲得更大的收益。

2.網絡流量測量有5個要素:

測量時間、測量對象、測量目的、測量位置和測量方法。網絡流量的測量實體,即性能指標主要包括以下幾項。

2.1 連接性

連接性也稱可用性、連通性或可達性,嚴格說應該是網絡的基本能力或屬性,不能稱為性能,但ITU-T建議可以用一些方法進行定量的測量。

2.2 延遲

對于單向延遲測量要求時鐘嚴格同步,這在實際的測量中很難做到,許多測量方案都采用往返延遲,以避開時鐘同步問題。

2.3 丟包率

為了評估網絡的丟包率,一般采用直接發送測量包來進行測量。目前評估網絡丟包率的模型主要有貝努利模型、馬爾可夫模型和隱馬爾可夫模型等等。

2.4 帶寬

帶寬一股分為瓶頸帶寬和可用帶寬。瓶頸帶寬是指當一條路徑(通路)中沒有其他背景流量時,網絡能夠提供的最大的吞吐量。

2.5 流量參數

ITU-T提出兩種流量參數作為參考:一種是以一段時間間隔內在測量點上觀測到的所有傳輸成功的IP包數量除以時間間隔,即包吞吐量;另一種是基于字節吞吐量:用傳輸成功的IP包中總字節數除以時間間隔。

3.測量方法

Internet流量數據有三種形式:被動數據(指定鏈路數據)、主動數據(端至端數據)和BGP路由數據,由此涉及兩種測量方法:被動測量方法和主動測量方法然而,近幾年來,主動測量技術被網絡用戶或網絡研究人員用來分析指定網絡路徑的流量行為。

3.1 主動測量

主動測量的方法是指主動發送數據包去探測被測量的對象。以被測對象的響應作為性能評分的結果來分析。測量者一般采用模擬現實的流量(如Web Server的請求、FTP下載、DNS反應時間等)來測量一個應用的性能或者網絡的性能。由于測量點一般都靠近終究端,所以這種方法能夠代表從監測者的角度反映的性能。

3.2 被動測量

被動測量是在網絡中的一點收集流量信息,如使用路由器或交換機收渠數據或者一個獨立的設備被動地監測網絡鏈路的流量。被動測量可以完全取消附加流量和Heisenberg效應,這些優點使人們更愿意使用被動測量技術。有些測度使用被動測量獲得相當困難:如決定分縮手縮腳一所經過的路由。但被動測量的優點使得決定測量之前應該首先考慮被動測量。被動測量技術遇到的另一個重要問題是目前提出的要求確保隱私和安全問題。

3.3 網絡流量抽樣測量技術

篇12

網絡通信流量分析的目的是了解網絡工況，及早發現可能存在的數據流量問題和應對措施。需明確的是，計算機網絡通信的核心作用是傳輸數據，而網絡流量的分析就是采集和分析計算機網絡中傳輸的海量數據流，網絡數據流的分析從計算機及傳輸相關的物理硬件底層的數據流到應用層的數據流分析，也稱為網絡通信協議分析。網絡管理人員若想了解和管控好一個網絡，其最重要的就是對網絡的了解，所謂知己知彼，包括并不限于了解網絡的拓撲結構、配置參數和設備類型等，但要保證網絡通信的服務質量，這樣的認知是還是遠遠不夠。對網絡通信流量的分析能使網管更深入地了解計算機網絡，包括計算機網絡運行規律、網絡運行模式和用戶的上網行為。

2網絡異常的行為

計算機網絡異常的發現是建立在充分認知和網絡閥值為基礎的，一旦網絡流量突破了網管人員預設的網絡流量閥值，就需要通過發現、詢因、流控等技術手段，以防止網絡流量的無限暴增，進而能為網絡通信保持一定的高性能運行提供重要的保障。通常的網絡異常情況如下：(1)網絡運行異常：網絡中流量的異常，包括資源利用率、數據包數的異常。(2)網絡應用異常：進程連接數量、用戶應用響應、應用程序流量的異常，都能通過長期的主動分析來及時預警和發現。(3)用戶的異常上網行為：異常的上網行為也有鮮明的流量特征，如被蠕蟲病毒感染、不知情的情況下安裝了后門程序等，長期的數據流量分析能及時發現上網用戶的這些異常網絡行為，如何及時發現網絡用戶的異常上網行為是解決其影響網絡正常高效運行的關鍵。

二建立機器學習的計算機網絡通信流量分析

模型計算機網絡流量的突變性、弱耦合性和影響的非線性等特性，對傳統計算機網絡通信理論提出了新的挑戰，導致對網絡流量和協議概率分布的準確建模變得異常困難。

1模型擬解決的問題

針對計算機網絡通信流量分析的特點，提出了一個基于機器學習的計算機網絡通信的流量分析概念模型。提出該模型的真正目的在于：最大限度地利用獲得的流量數據和網管人員的監測信息，自動完成流量分析的各個任務，自適應各種上層應用及對網絡的性能優化。同時，模型通過計算機主動學習，指導主動式監測的進行。從通信流量分析的具體任務而言，如果已經較好地獲得了數據流量的概率分布特性，有兩個基本的問題：（1）正常情況，計算機監控程序能否利用已得到的概率統計特性來預測可能發生未知的數據流量情況；（2）數據流量的特性突變之時，計算機監控程序能否快速、有效地發現這種流量突變。這分別對應于網絡數據流量預測和異常網絡數據流量檢測，可以通過具有自學習能力的計算機程序自動實現上述預測和檢測。

2機器學習的概念

模型所謂機器學習的本質是計算機程序的性能隨著經驗的累積能自我完善。恰當選擇計算機的機器學習算法，可最大限度地使用上述經驗和監測信息，從而完成流量分析各任務的自動化處理，并根據應用環境對網絡的性能進行優化。為此，機器算法是處理上述問題的理想選擇。首先給出基于機器學習的網絡流量分析模型，接著從機器學習的角度，闡明基于改進Boosting的機器學習算法。機器學習的本質是將人類的經驗積累和長期的監測到的統計數據通過計算機程序以自動提高其性能，根據計算機通信網絡分析的一般流程，提出機器學習模型。此類模型利用網絡監測算法測量獲得的流量數據，然后利用機器學習的方法，自動完成流量分析的各項作業任務，支持各種上層應用對網絡的性能優化。當網絡管理人的監督信息可以獲得的時候，該數據信息可以作為機器學習算法的儲備和先驗知識，結合人類的智慧以進一步提高算法的性能，如此往復，循環提升，不斷提高系統的數據流量分智能。

3改進Boosting算法

改進Boosting算法是一類使得學習算法的性能得以提高的學習策略。基于Boosting的學習算法的思路：找到許多簡單粗略的判斷準則要比找到一條非常準確的準則容易得多。通過不斷調用這種算法，每次用訓練樣本的不同子集對它進行訓練，循環多次后，這些準則就會結合成一條基本學習規則。

篇13

隨著校園網的發展，網絡管理已成為數字校園信息化建設中的重要一環，作為網絡管理和維護人員首要任務就是隨時了解網絡的運行狀況，對網絡的運行狀況進行流量監控和流量分析，是整個網絡合理化的重要環節，它能在最短的時間內發現安全威脅，在第一時間進行分析，通過流量分析來確定異常并發出預警，快速采取相應措施[1]。因此，為了更好地管理校園網絡，需引進專業的的網絡監測軟件cacti，對校園網絡進行實時監控。

1 Cacti架構及功能

Cacti架構Cacti系統由五個部分組成，如圖1所示。

包括數據定時采集、圖像繪畫與顯示、樹狀的主機和圖像管理、RRDTool信息管理、用戶和權限管理和模板導入導出。定時采集數據：Cacti會定時運行，使用“snmpget”命令或腳本執行的方式進行數據的采集；存儲數據：使用RRDTool的“update”命令將采集到的數據儲存到rrd文件中；用戶查看某臺設備的流量：在Cacti的PHP頁面上點擊該設備，Cacti在數據庫中尋找該設備對應的rrd文件名稱。Cacti運行命令讓RRDTool進行繪圖。

2 Cacti在網絡流量監控的應用

Cacti是一種開源式監控軟件，它是通過SNMP抓取所監控的數據，把相關數據存儲到RRDtool繪畫引擎中，分布式的管理模式使得Cacti能夠同時監控各個節點的數據信息。下面以學生區域的網絡流量監控圖，分析研究Cacti在網絡流量監控的作用。

從圖1中我們可以看出，每天上午的流量波動在7∶00左右被檢測到，學生白天上網高峰出現在10：00～14：00左右，從8：00～23：30網絡流量呈現一種上升的趨勢，21：30～23：00左右達到最高值。這與我們學校的作息時間有關。學校每天早上7∶00來網，8：00上課。10：00一、二節課下課，部分同學回宿舍上網，至下午14：30上課期間，達到一個上網小高峰，下午18：00左右至23：00左右上是上網的高峰時期，23：00至次日7點監測到的流量幾乎為零，是因為學校為了不影響學生休息和第二天的學習，每天23：00準時斷網，Cacti的監測圖準確地反映了實際網絡狀況。

從圖3我們看出每周流入流出的大體趨勢相差不大，總體的流量走勢處于正常。從每天的流量波動趨勢大體相差不大。周五至周日流量比平時稍多，反映了休息日學生上網人數增加，是學生利用休息日來放松自己，上上網，聽聽音樂，玩玩游戲等。但是，周四的下午6：00左右出現過短時間的斷網事故，我們可以清晰地觀測到在Cacti監控圖上，周四中間地段出現流量異常劇降為零，然后迅速恢復的過程。正是由于Cacti的直觀性，分布式管理的優勢使得我們能夠迅速的找到問題所在，快速使網絡恢復正常。

通過以上實時監測表明，Cacti能夠很直觀的反應出流量的分布情況，可以很直觀的發現異常的流量波動，進而對于網絡故障做出快速反應，及時排除，恢復網絡正常。是校園網有效管理和監測的重要手段之一。

3 結論

校園網絡的流量監控是網絡管理中的重要內容，Cacti對網絡監控提供了一個直觀可行的方案，我們通過它非常迅速的了解網絡各個部分的流量情況，第一時間發現網絡中的異常流量，及時發現黑客和病毒的攻擊，并能根據各網絡設備端口的使用情況對網絡進行合理劃分，大大提高網絡的安全和運行效率，同時該系統實現了網絡狀態的圖像化顯示、故障報警、監測數據存儲、溫度濕度傳感器信息采集等功能。使用該軟件進行網絡管理具有通用性高，通知及時，成本低，直觀；非常適合校園網使用。