導語：大數據分析技術在安全領域的運用一文來源于網友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

1安全大數據分析

大數據分析技術給信息安全領域帶來了全新的解決方案，但是如同其它領域一樣，大數據的功效并非簡單地采集數據，而是需要資源的投入，系統(tǒng)的建設，科學的分析。Gartner在2013年的報告中指出，大數據技術作為未來信息架構發(fā)展的十大趨勢之首，具有數據量大、種類繁多、速度快、價值密度低等特點。將大數據技術應用與信息安全領域可實現容量大、成本低、效率高的安全分析能力。

1.1信息安全分析引入大數據的必要性

大數據具有“4V”的特點：Volume、Variety、Velocity和Value，可實現大容量、低成本、高效率的信息安全分析能力，能夠滿足安全數據的處理和分析要求，將大數據應用于信息安全領域能夠有效的識別各種攻擊行為或安全事件，具有重大的研究意義和實用價值。隨著企業(yè)規(guī)模的增大和安全設備的增加，信息安全分析的數據量呈指數級增長。數據源豐富、數據種類多、數據分析維度廣；同時，數據生成的速度更快，對信息安全分析應答能力要求也相應增長。傳統(tǒng)信息安全分析主要基于流量和日志兩大類數據，并與資產、業(yè)務行為、外部情報等進行關聯分析。基于流量的安全分析應用主要包括惡意代碼檢測、僵木蠕檢測、異常流量、Web安全分析等；基于日志的安全分析應用主要包括安全審計、主機入侵檢測等。將大數據分析技術引入到信息安全分析中，就是將分散的安全數據整合起來，通過高效的采集、存儲、檢索和分析，利用多階段、多層面的關聯分析以及異常行為分類預測模型，有效的發(fā)現APT攻擊、數據泄露、DDoS攻擊、騷擾詐騙、垃圾信息等，提升安全防御的主動性。而且，大數據分析涉及的數據更加全面，主要包括應用場景自身產生的數據、通過某種活動或內容“創(chuàng)建”出來的數據、相關背景數據及上下文關聯數據等。如何高效合理的處理和分析這些數據是安全大數據技術應當研究的問題。

1.2安全大數據分析方法

安全大數據分析的核心思想是基于網絡異常行為分析，通過對海量數據處理及學習建模，從海量數據中找出異常行為和相關特征；針對不同安全場景設計針對性的關聯分析方法，發(fā)揮大數據存儲和分析的優(yōu)勢，從豐富的數據源中進行深度挖掘，進而挖掘出安全問題。安全大數據分析主要包括安全數據采集、存儲、檢索和安全數據的智能分析。（1）安全數據采集、存儲和檢索：基于大數據采集、存儲、檢索等技術，可以從根本上提升安全數據分析的效率。采集多種類型的數據，如業(yè)務數據、流量數據、安全設備日志數據及輿情數據等。針對不同的數據采用特定的采集方式，提升采集效率。針對日志信息可采用Chukwa、Flume、Scribe等工具；針對流量數據可采用流量景象方法，并使用Storm和Spark技術對數據進行存儲和分析；針對格式固定的業(yè)務數據，可使用HBase、GBase等列式存儲機制，通過MapReduce和Hive等分析方法，可以實時的對數據進行檢索，大大提升數據處理效率。（2）安全數據的智能分析：并行存儲和NoSQL數據庫提升了數據分析和查詢的效率，從海量數據中精確地挖掘安全問題還需要智能化的分析工具，主要包括ETL（如預處理）、統(tǒng)計建模工具（如回歸分析、時間序列預測、多元統(tǒng)計分析理論）、機器學習工具（如貝葉斯網絡、邏輯回歸、決策樹、隨機森利）、社交網絡工具（如關聯分析、隱馬爾可夫模型、條件隨機場）等。常用的大數據分析思路有先驗分析方法、分類預測分析方法、概率圖模型、關聯分析方法等。可使用Mahout和MLlib等分析工具對數據進行挖掘分析。綜上，一個完備的安全大數據分析平臺應自下而上分為數據采集層、大數據存儲層、數據挖掘分析層、可視化展示層。主要通過數據流、日志、業(yè)務數據、情報信息等多源異構數據進行分布式融合分析，針對不同場景搭建分析模型，最終實現信息安全的可管可控，展現整體安全態(tài)勢。

2安全大數據分析的典型應用

2.1基于用戶行為的不良信息治理

中國移動開展了基于大數據的不良信息治理工作，主要針對垃圾短信和騷擾詐騙電話開展基于異常行為的大數據分析。通過開源工具Hadoop、HDFS、Pig、Hive、Mahout、MLlib搭建大數據分析平臺，采集用戶的行為數據，構建用戶行為分析模型；分別提出了異常行為分類預測模型、統(tǒng)計預測分析模型、社交網絡分析模型等，將用戶的行為數據輸入到模型中，可以精準地挖掘出違規(guī)電話號碼，并且發(fā)現違規(guī)號碼與正常號碼之間存在大量相異的行為特征。通過用戶的行為，構建多維度的用戶畫像數據庫，支撐全方位的大數據不良信息治理服務，支撐大數據不良內容的智能識別等。實踐表明，大數據分析技術能夠挖掘出更多潛在的違規(guī)號碼，是對現有系統(tǒng)的有效補充。除此之外，中國移動還將大數據技術應用在安全態(tài)勢感知、手機惡意軟件檢測和釣魚網站的分析中，提升了現有系統(tǒng)的分析能力。

2.2基于網絡流量的大數據分析

在互聯網出口進行旁路流量監(jiān)控，使用Hadoop存儲及Storm、Spark流分析技術，通過大數據分析技術梳理業(yè)務數據，深度分析所面臨的安全風險。主要分析思路是采集Netflow原始數據、路由器配置數據、僵木蠕檢測事件、惡意URL事件等信息，采用多維度分析、行為模式分析、指紋分析、孤立點分析及協(xié)議還原等方法，進行Web漏洞挖掘、CC攻擊檢測、可疑掃描、異常Bot行為、APT攻擊、DDoS攻擊挖掘等分析。

2.3基于安全日志的大數據分析

基于安全日志的大數據分析思路主要是融合多種安全日志，進行數據融合關聯分析，構建異常行為模型，來挖掘違規(guī)安全事件。主要的安全日志包含Web日志、IDS設備日志、Web攻擊日志、IDC日志、主機服務器日志、數據庫日志、網管日志、DNS日志及防火墻日志等，通過規(guī)則關聯分析、攻擊行為挖掘、情景關聯分析、歷史溯源等方法，來分析Web攻擊行為、Sql注入、敏感信息泄露、數據分組下載傳輸、跨站漏洞、嘗試口令破解攻擊等應用場景。基于安全日志的大數據分析已經在國際上有廣泛的應用。如IBMQRadar應用整合分散在網絡各處的數千個設備端點和應用中的日志源事件數據，并將原始安全數據進行標準化，以區(qū)別威脅和錯誤判斷；IBMQRadar還可以與IBMThreatIntelligence一起使用，提供潛在惡意IP地址列表，包括惡意主機、垃圾郵件和其它威脅等；IBMQradar還可以將系統(tǒng)漏洞與事件和網絡數據相關聯，劃分安全性事件的優(yōu)先級等。ZettaSet海量事件數據倉庫來分析網絡中的安全漏洞和惡意攻擊；Zettaset主要包括Orchestrator和SDW(SecurityDataWarehouse，安全數據倉庫）。Orchestrator是端到端的Hadoop管理產品，支持多個Hadoop分布；SDW是構建在Hadoop的基礎上，并且基于Hive分布式存儲。SDW于2011年BlackHat網絡安全會議面世，SDW可從網絡防火墻、安全設備、網站流量、業(yè)務流程以及其它事務中挖掘安全信息，確定并阻止安全性威脅。處理的數據質量和分析的事件數量比傳統(tǒng)SIEM多；對于一個月的數據負載，傳統(tǒng)SIEM搜索需要20～60min，Hive運行查詢只需1min左右。

2.4基于DNS的安全大數據分析

基于DNS的安全大數據分析通過對DNS系統(tǒng)的實時流量、日志進行大數據分析，對DNS流量的靜態(tài)及動態(tài)特征進行建模，提取DNS報文特征：DNS分組長、DNS響應時間、發(fā)送頻率、域名歸屬地離散度、解析IP離散度、遞歸路徑、域名生存周期等；基于DNS報文特征，構建異常行為模型，來檢測針對DNS系統(tǒng)的各類流量攻擊（如DNS劫持、DNS拒絕服務攻擊、DNS分組異常、DNS放大攻擊等）及惡意域名、釣魚網站域名等。

2.5APT攻擊大數據分析

高級可持續(xù)性威脅（APT）攻擊通過周密的策劃與實施，針對特定對象進行長期的、有計劃的攻擊，具有高度隱蔽性、潛伏期長、攻擊路徑和渠道不確定等特征。現已成為信息安全保障領域的巨大威脅。“震網”潛伏3年，造成伊朗納坦茲核電站上千臺鈾濃縮離心機故障。收集業(yè)務系統(tǒng)流量、Web訪問日志、數據日志、資產庫及Web滲透知識庫等，提取系統(tǒng)指紋、攻擊種類、攻擊時間、黑客關注度、攻擊手段類型、行為歷史等事件特征，再基于大數據機器學習方法，發(fā)現Web滲透行為、追溯攻擊源、分析系統(tǒng)脆弱性，加強事中環(huán)節(jié)的威脅感知能力，同時支撐調查取證。

3總結

隨著移動互聯網、云計算等技術的日趨成熟，黑客網絡攻擊的手段和方法也日趨復雜，違規(guī)業(yè)務行為也變化多樣，給信息安全監(jiān)管和不良信息治理帶來極大的挑戰(zhàn)。傳統(tǒng)的基于特征的信息安全防御手段已很難應對。只有充分地利用海量異構的大數據資源和大數據分析技術，才能有效防御新型攻擊。中國移動已在不良信息治理、態(tài)勢感知、基礎網絡安全等方面開展大數據分析應用探索，并取得了一定的成效。電信行業(yè)面臨著復雜的網絡環(huán)境和多種安全挑戰(zhàn)，需要體系化地建設安全大數據分析平臺，利用大數據分析技術，有效提升各領域的信息安全管控水平，為業(yè)務發(fā)展保駕護航。

作者:張濱 單位:中國移動通信集團公司信息安全管理與運行中心