導語：大數據下數據挖掘技術的算法一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

在大數據背景下，許多傳統科學技術的發展達到了新的高度，同時也衍生出一些新興技術，這些推動著互聯網行業的前行。新技術的發展也伴隨著新問題的產生，現有的數據處理技術難以滿足大數據發展的需要，在數據保護等方面依舊存在著一定的風險。因此，進一步完善大數據技術是當下需要攻克的難題。本文主要進行了大數據的簡單引入，介紹數據挖掘技術及其應用，分析了當下的發展進度和面臨的困難。

1大數據的相關引入

1.1大數據的概念。大數據主要指傳統數據處理軟件無法處理的數據集，大數據有海量、多樣、高速和易變四大特點，通過大數據的使用，可以催生出新的信息處理形式，實現信息挖掘的有效性。大數據技術存在的意義不僅在于收集海量的信息，更在于專業化的處理和分析，將信息轉化為數據，從數據中提取有價值的知識。大數據分析與云計算關系密切，數據分析必須依托于云計算的分布式處理、分布式數據庫等。1.2大數據的特點。伴隨著越來越多的學者投入到對大數據的研究當中，其特點也逐漸明晰，都廣泛的提及了這四個特點。（1）海量的數據規模，信息的數據體量明顯區別于以往的GB、TB等計量單位，在大數據領域主要指可以突破IZP的數量級。（2）快速的數據流轉，大數據作用的領域時刻處在數據更新的環境下，高效快速的分析數據是保證信息處理有效的前提。（3）多樣的數據類型，廣泛的數據來源催生出更加多樣的數據結構。（4）價值低密度，也是大數據的核心特征，相較于傳統數據，大數據更加多變、模糊，給數據分析帶來困擾，從而難以從中高密度的取得有價值的信息。1.3大數據的結構。大數據主要分為結構化、半結構化和非結構化三種數據結構。結構化一般指類似于數據庫的數據管理模式。半結構化具有一定的結構性，但相比結構化來說更加靈活多變。目前非結構化數據占據所有數據的70%-80%，原因在于互聯網上的信息內容多種多樣，暫時無法找到有序的存儲歸類方法。1.4大數據技術大數據技術是指如何從各種類型的數據中，獲得有利用價值的信息，其中大數據技術包括數據收集、數據存取、數據架構、數據處理、統計分析、數據挖掘、數據預測和結果呈現。在大數據的生命周期中，數據收集處于第一階段，主要來源有管理信息系統、Web信息系統等。根據數據結構類型不同，大數據的存取采用三種不同的形式，這樣有利于其他技術的應用。數據架構源于谷歌提出的一種基于軟件的可靠文件存儲體系GFS（Google文件系統），相應推出的還有MapReduce計算模型，二者共同解決了當時的文件存儲和運算問題。而后隨著需求的不斷增多，有學者基于谷歌的研究，開發出可以滿足更多需求的Hadoop。

2數據挖掘技術

2.1數據挖掘技術以及云計算。如今全球每年都有數十億人使用著計算機等電子設備，并產生了龐大的數據，各行各業都已經被數據所滲透，在大數據時代，數據挖掘已成為不可或缺的技術。數據挖掘通過統計、在線分析、情報檢索、機器學習、專家系統和模式識別等諸多方法來實現從海量數據中搜索隱藏于其中的信息這一過程。云計算是分布計算的其中一種，通常是指：通過網絡搜集共享計算資源，并以最低的管理代價和最精準的計算方式獲取結果的新型IT運算模式。也就是說云計算技術將龐大的數據計算處理程序拆分為一個個小程序，再通過多個服務器分別計算、處理和分析，最后將結果匯總并返回給用戶。這項技術可以在短時間內迅速完成海量的數據處理，從而為日益更新的互聯網服務。2.2數據挖掘的發展現狀。從最早的數據庫技術，到如今逐漸發展成熟的大數據技術，其目的都是實現數據的高效管理和有效利用。數據在我們身邊無處不在，數據的收集已經不再是困擾我們的難題，如何將隱藏在數據背后的信息高效率的挖掘出來，才是我們需要探索的道路。如今數據挖掘技術已發展為：數據源提供數據，再將預處理的數據整合成適用的模式，由模式分析出這些數據中有用的知識。2.3數據挖掘中的經典算法。2.3.1C4.5算法C4.5算法是在決策樹算法的基礎之上改進的，根據對目標變量產生的效果的不同而構建的分類規則，其原理是根據每次選擇一個特征或分裂點作為當前節點的分類條件。C4.5算法繼承了決策樹算法的優點：過程可見、操作簡便、準確率高，可同時也有難以基于組合的形式發現規律。2.3.2K-Means算法即K均值聚類算法K均值聚類算法顧名思義是一種聚類算法，將n個對象根據屬性分為k個分割，計算出每個對象與各個種子聚類間的距離，然后將每類對象分配給最近的聚類中心，這樣每個聚類中心再不斷重復以上操作以達到某個終止條件。這種算法的優點是容易實現，但在大規模數據的運用上效率較低，一般適用于數值型數據。

3最新數據挖掘技術及其應用

在新時代大數據的發展中，信息數據在我們的生活中無處不在，衣、食、住、行中都有大數據技術作為支撐，從“暗處”給用戶提供幫助。隨著大數據的出現到發展為現階段互聯網不可缺少的一部分，我們生活中大多數傳統的統計、計算、分析方法已無形中被大數據取代。3.1數據挖掘技術在金融領域的應用。在信息化發展如此迅速的時代，金融信息數據化已成為必然趨勢，各種互聯網金融企業如雨后春筍般出現，給傳統金融帶來了不小的沖擊。線上支付、P2P模式的網貸，甚至于股票期貨，都已完成從傳統數據模式向大數據技術的更新。大數據時代給金融行業帶來了全新的一面，可以為客戶分類、風險評估等提供更高層次的參考價值。利用有效地數據分析把控客戶類別和客戶需求，從而提高經濟效益和服務質量，為金融行業的發展提供更廣闊的平臺。3.2數據挖掘技術在教育領域的應用。教育數據挖掘(EducationDataMining)應用了多個大數據技術，綜合運用了數理統計、人工智能與機器學習和數據挖掘等。對教育原始數據進行分析、構建數據模型，從而有效地預測學習者的學習趨勢。也為互聯網教育提供發展的基礎，實現線上教育系統的普及和有效應用，增加新型的學習方式。同時教育信息數據化也可以進行全面的、精準的學習分析，提供有理論數據支撐的分析結果，有利于學生的自主學習和問題分析。

4大數據的發展趨勢

大數據時代的來臨給我們帶來了全新的發展模式，同時也催生出許多新興行業，如云計算、人工智能等。大數據技術如今已被應用到商業、工業等領域，更是諸多新領域的基礎，其中機器學習是人工智能的一個分支，研究方向是使計算機在沒有明確代碼的條件下自主學習，它所運用的原理就是大數據技術。在科學領域，大數據也是必不可少的計算方式，它擁有多種不同的算法，可適應性的解決一系列科學研究中的計算難題。在信息技術發展如此迅速的今天，大數據技術依然面臨著許多挑戰，龐大的數據資源，它的儲存和保護是長久以來人們需要克服的難題。近幾年數據泄露的消息比比皆是，大小企業都無法免受影響，而唯一措施就是從源頭阻止信息的泄露。盜取數據的方法在日益更新，保護數據就更難上加難，所以完善企業自身的安全防范能力，提前做好屏障保護，是大數據應用上的重要環節。

5結束語

總而言之，在信息技術發展如此迅速的時代，大數據的廣泛應用已成為大勢所趨，從最早運用大數據進行簡單的分析，作為一種論據為科學研究提供數據支撐，到如今大數據成為互聯網技術的基石，操縱龐大的數據資源。可以說，大數據技術已走在當今科技發展的前沿。但科學技術的發展依舊伴隨著許多待解決的問題，在技術創新與實時出現的問題中尋求可持續發展的平衡，使得計算機技術可以更好的服務人們的生活，是我們需要努力的目標。

參考文獻

[1]張珍.云計算環境下的數據挖掘算法探究[J].網絡安全技術與應用,2019(05):58-59.

[2]夏春梅.大數據背景下數據挖掘技術在銀行中的應用[J].電子技術與軟件工程,2019(10):174.

[3]胡水星.大數據及其關鍵技術的教育應用實證分析[J].遠程教育雜志,2015,33(05):46-53.

作者:赫然 黃今慧 單位:北京工商大學計算機與信息工程學院