前言：尋找寫作靈感？中文期刊網用心挑選的互聯網流量流向分析，希望能為您的閱讀和創作帶來靈感，歡迎大家閱讀并分享。

隨著寬帶互聯網應用的普及，互聯網用戶數量在不斷增加，各個領域的應用也在逐步深入，網絡規模持續擴展，網絡流量高速增長。尤其是P2P技術產生以來，互聯網網絡流量激增，對網絡的處理能力提出了更高的要求。同時，要合理、有效地疏導流量，必須對網絡流量進行科學、細致的分析，通過流量分析可以有效地總結出網內、網外流量比例，各區域用戶產生的流量大小，進而對用戶使用習慣、各類應用帶寬消耗情況等進行分析，從而可以對不同區域用戶使用習慣、網內資源建設方向等進行有效的指導。不僅要依據數據的目的地址去疏導流量，還要明晰流量的來源和成分，區分流量類型，以精確地計算成本，合理分配IP地址數量和流量占用帶寬，使流量管理更加規范。   Netflow技術最早由Cisco公司研發，首先被用于網絡設備對數據交換進行加速，并可同步實現對高速轉發的IP數據流進行測量和統計。經過多年的技術演進，Netflow對流經網絡設備的IP數據流進行測量和統計的功能更加成熟，并成為當今互聯網領域公認的最主要的IP/MPLS流量分析、統計和計費行業標準。Netflow技術能對IP/MPLS網絡的通信流量進行詳細的行為模式分析和計量，并提供網絡運行的詳細統計數據。   通過對某電信運營商的網絡進行改造，引入互聯網流量分析系統，以互聯網流量數據為分析對象，實現以下功能：(1)精確判斷流量歸屬地；(2)精確統計流量類型；(3)精確區分流量成分；(4)以天為單位，對某一天的流量及以天為周期單位的時間段產生的流量進行查詢。   1流量分析系統設計   由于Netflow僅能宏觀地對網絡流量進行分析和監控，無法滿足精細化管理的要求。鑒于此，需要建立網絡流量分析系統。   首先在省級主干路中引入流控設備，對全省網絡流量進行控制。通過建立一臺Linux服務器(CMserver)，在流控設備中將流量鏡像至此服務器的數據庫中，便可采集到全網的流量明細，進而通過存儲過程將各種需要分析的數據進行聚合成表，便可對全網流量進行實時監控分析。   本系統包括4個功能模塊，分別是數據采集模塊、接口程序模塊、數據庫模塊、頁面呈現模塊。   1.1數據采集模塊   要實現對流量源和目的地的分析，首先要進行流量采集并存儲，采集的數據中要包含數據包的源地址、目的地址、數據包發送時間等信息。本系統采用NetflowV9版本進行數據采集，需要對Netflow協議、待采集的路由器端口和數據采集存儲服務器等進行配置。   由于需要分析的路由器端口數據量很大，而且分析目的主要為各方向流量數據比例，綜合考慮數據處理量和數據準確性之后，將采集周期定為5分鐘，采樣比例定為1000:1，此時每5分鐘Netflow數據流約有30萬～40萬條，存儲Netflow數據流的文件大小約20～30MB。   在采集數據的端口選擇方面，既要采集所有流量數據，保證數據的完整性；又要避免數據重復采集，以保證數據的準確性。按照上述條件，選擇省級主干中路由器上行端口為流量采集端口，通過該端口既可以采集所有互聯網用戶訪問Internet的流量數據，又不會發生流量數據重復采集情況。   為分析路由器端口的網絡流量數據，必須將從路由器中送出的Netflow數據收集并存儲，以便進一步的處理，所以需要配置Netflow采集存儲服務器。具體配置為2.4GHz四核CPU、2G內存，使用Linux系統，并安裝CiscoNetflowCollector(NFC)采集軟件。   1.2接口程序模塊   經過采集，每5分鐘會輸出一個格式為XML的文件，文件數據分3部分：數據頭、模板部分、數據部分。NetflowV9的數據格式可以自定義，根據分析需要，定義數據模板主要包括我們關心的13個字段，分別為：源地址、目的地址、源端口號、目的端口號、入接口、出接口、協議、服務類型、流數量、報文數、字節數、開始時間、結束時間。每個字段使用“|”分開。   選用C++程序語言進行數據的分析及入庫。程序語言完成的主要功能為按照字段定義進行數據分列，并按要求建立數據表，然后將分析后的數據導入數據庫中。原始數據每天自動生成一個文件夾，文件夾中每5分鐘生成一個數據文件，為了達到自動讀取數據的功能，采用“日期+時間”循環來自動讀取數據文件。   讀取數據文件對每行按照不同字段分列。由于每個數據文件的數據頭部分完全相同，而且不包含所要分析的數據信息，所以可以把數據頭部分跳過，然后根據每行數據的“|”將每個字段的數據進行分列。   再根據各字段數據分析的需要，轉換成相應的數據類型，并與數據庫連接寫入數據庫中。   1.3數據庫模塊   作為基于Netflow流量的分析系統，數據庫成為系統的基礎及核心，一切功能模塊及數據采集均需建立在數據庫中，從性能、成本、易用性、可靠性等方面綜合考慮，選用MySQL作為本系統的數據庫。   首先是基本表的設計。在程序操作數據表時，讀寫的性能受數據表字段所占字節數的影響，數據表字段所占字節數越大，則需要更長的讀寫操作時間，字段所占字節數越小，則其讀寫操作的性能將會有所提高。因此，設計數據庫字段的屬性對整個系統的性能至關重要。在分析程序對數據按照規則條件進行匹配后，將更新數據表中IP地址等相應的歸屬信息，但在數據的進一步匯總中，如果匯總程序按照IP地址歸屬信息進行數據分組匯總，則需要讀取歸屬信息的全部字節數，這對于系統整體匯總而言，其運行效率仍會受到影響。本著讀取最少字節數以提升系統工作效率的原則，需要將歸屬信息代碼化，匯總程序僅需要根據歸屬信息代碼作為分組條件即可。   根據Netflow的原始數據量，如果對其進行一一匹配對應，則無法在5分鐘內完成相應的數據歸屬、流量分析等操作。為了提高數據庫效率，最直接的方法就是先進行關鍵字段的聚合，然后進行相應的遞歸聚合，最后將分析數據進行匹配分析，這樣可以有效地減少原始數據的運算量，尤其在磁盤I/O有限的條件下，性能提升更明顯。#p#分頁標題#e#   在數據遞歸聚合后，雖然數據量已經有了極大的壓縮，但數據庫運算仍然十分緩慢，因此在各級數據表中，對需進行運算的字段進行索引配置。索引是用來快速地尋找那些具有特定值的記錄，所有MySQL索引都以B-樹的形式保存。如果沒有索引，執行查詢時MySQL必須從第一個記錄開始掃描整個表的所有記錄，直至找到符合要求的記錄。表里面的記錄數量越多，這個操作的代價就越高。如果作為搜索條件的列上已經創建了索引，MySQL無需掃描任何記錄即可迅速得到目標記錄所在的位置。由索引帶來的效率提升則是非常明顯的，如同看書時按照目錄查詢章節一樣迅速。在本系統中，由于要從目的IP地址中分析出該IP的分公司歸屬，這對于運營商龐大的不連續的IP地址段數據表來說，其哈希運算將會帶來極大的系統符合，其運算效率也將隨著兩張數據表記錄的增長而成倍的增長。通過對比測試，在沒有配置索引的情況下，其數據運算的時間大約為20分鐘，而索引可以將此工作縮短至1分半鐘左右，這恰好可以完成數據在5分鐘內的運算操作。   1.4頁面呈現模塊   在對數據進行分析處理后，利用Eclipse+JSP+Tomcat平臺，將結果以網頁形式展現出來，并實現多種查詢功2結束語在研究互聯網技術和相關協議的基礎上，通過對互聯網流量數據的分析處理，運用C++，MySQL，Eclipse，JSP和Tomcat+Java等工具，實現了互聯網流量分析系統的設計，解決了互聯網流量分析管理過于宏觀的問題。   在互聯網規模不斷擴展和應用領域不斷增加的趨勢下，互聯網流量的迅猛增長，使得流量成分越來越復雜，而過于宏觀的流量分析技術已經不能滿足電信運營上的管理要求，只有通過可靠、有效的網絡業務流量監測，并對互聯網絡以及網絡所承載的流量進行細致的統計，準確及時的流量流向分析，才能挖掘出網絡資源潛力，以達到控制網絡互聯成本，為企業的網絡規劃、優化調整和業務發展提供有力的依據。