統計研究工作機遇與挑戰

時間:2022-08-14 02:47:21

導語:統計研究工作機遇與挑戰一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。

統計研究工作機遇與挑戰

摘要:大數據時代的到來在拓寬統計研究范疇,豐富統計研究內容的同時也為傳統統計研究工作帶來了巨大的挑戰;為順應大數據時代的發展,統計研究工作應適時調整抽樣調查的工作思想、深入理解數據信息、轉換數據對接與處理方式、抓住數據關系分析重點、轉換統計工作重心以及強化分析思維,使大數據與統計學有機結合,更好的為統計學服務,為統計研究工作的發展注入旺盛的生命力。

關鍵詞:統計研究;大數據;統計學;數據分析

自二十世紀六十年代以來,計算機技術的快速發展,人類的生活方式發生了巨大的變化,計算機互聯網、移動互聯網、物聯網、汽車網絡越來越流行,博客,論壇,微信網絡通信已經演變成人們的日常生活中,數據的積累變得越來越方便,數據共享和交流變得越來越方便,自動采集、傳輸的信息和計算已經出生成為現實,大數據的天然產品是高科技時代,毫無疑問,隨著計算機處理技術的快速發展,能夠處理大規模復雜數據增加,從大規模的數據中提取有價值的信息的能力是一天天增加,人類迅速進入大數據的時代,有大數據促進人民生活的變化,工作和的思想奠定了基礎。在大數據時代,引領人們的生活中的數據,指導業務轉型和科技創新中發揮著越來越重要的作用,人們幾乎可以從任何獲得的數據可以轉化為促進人類生活方式的改變有價值的知識,以及大數據時代的戰略意義不僅是掌握龐大的數據信息,并在于如何處理數據。如何從紛繁的知識中提取有價值的數據,如何利用這些數據來創建偉大的價值是我們面臨的一個重要問題,大數據時代的到來,使分析數據的研究變得尤為重要,不僅帶來了統計研究的發展機遇,但也給統計研究帶來了前所未有的挑戰。毫無疑問,隨著大數據的出現,統計研究已經進入了一個新的發展階段。

一、大數據給統計研究帶來的機遇

大數據時代擴大了統計研究的范圍,豐富了統計研究的內容,擴大了統計研究的活力。傳統的統計研究是根據要研究的問題收集相關數據,然后組織、分析和總結。傳統的統計研究一方面,無法保證數據的效率,另一方面,由于大量的數據收集非常困難,導致研究人員增加工作量。在大數據時代,統計研究工作可以分析更多的數據,甚至可以處理和某個特別現象相關的所有數據,而不再依賴于隨機采樣,數據的限制等因素。傳統的統計研究工作與大數據相結合,(1)保證了統計信息的適應性,提高了統計調查的時效性,增加了統計研究的準確性,在整體上提高了統計研究的質量;(2)豐富了傳統統計研究數據的收集方法,例如網絡信息、移動通信等,同時這些數據范圍廣泛,可用于多個研究目標,重復利用率高,這樣大大降低了統計研究工作的成本。(3)豐富了統計學的內涵,更大的發揮了統計學的作用,擴大了統計研究工作的范圍。

二、統計研究工作所面臨的轉變

由大數據的概念與其時代屬性,我們不難看出大數據具有多樣性(Variety)、大量性(Volume)、高速性(Velocity)、易變性(Variabili⁃ty)、真實性(Veracity)和價值性(Value)等特點[5][6][7]。同時,大數據也給我們帶來了一些觀念上的轉變,比如:是全部數據,而不是隨機采樣;是大體方向,而不是精確制導;是相關關系,而不是因果關系等等。對統計研究工作而言,這些特點與轉變不僅帶來了統計研究范疇的拓寬、統計研究內容的豐富,也同樣帶來了統計研究工作面臨的顛覆性的挑戰。(一)抽樣調查工作思想的轉變。由于數據收集和處理能力的限制,傳統的統計研究工作特點是通過有限樣本來了解推斷總體,這也就產生了各式各樣的抽樣調查技術,但不可否認的是,任何抽樣技術,抽到的都只是總體中的一部分,樣本只能是對總體片面的、部分的反映。而在大數據時代,數據資料收集和數據處理能力對統計分析工作的影響越來越小,我們既可以了解局部又可以了解總體,那些傳統抽樣調查方法中的不足,諸如抽樣框不穩定、隨機取樣困難、受調查目的限制、調查范圍有限、樣本量有限、抽樣結果無法進一步細分、糾偏成本高等問題均可以得到改善。進入大數據時代,雖然分析整個過程是可能的,但這并不意味著抽樣,但這并不意味著抽樣是無用的。至少就目前而言,不是所有的行業都有實現智能化,并不是所有的數據都可以通過網絡獲得的信息系統,有很多數據只能通過傳統的方法,抽樣調查;而且,甚至網絡數據,在某些情況下,分析整體也不是最好的選擇,在某些情況下,抽樣調查是更重要的比分析的總時間。(二)對數據精確性要求的轉變。傳統的統計研究工作是對數據進行抽樣分析,研究工作是希望盡可能用有限的數據來全面準確的反映和推斷總體,對數據的精確性要求非常高,數據的不精確主要集中在人為因素以及自然不可控因素。而在大數據時代,數據規模大,數據來源廣泛,數據不精確性在所難免,很多情況下統計研究工作已經放棄了樣本研究方法,從而變成對于總體的研究。但大數據時代下的這種不精確數據并不一定妨礙我們認識總體,也有可能幫助我們從另一個方向更好地認識總體。數據的這種不精確性提供的越來越多的信息,有利于我們更好地了解總體的真實情況。(三)數據對接與處理方式的轉變。傳統的數據是結構化數據可以使用的常規統計指標體現或是坐標圖阻礙數據固有結構和根據這一標準數據的知識,具備方式已經相當成熟,并且比較容易,得到可以直接進行分析的結果。相反,數據不僅結構化數據也全面反結構化數據、聯合數據和非結構化數據可以儲存的所有記錄和的信號,具備多種多樣的特性,傳統的統計指標一定要完整地可以表現暴露出來。這些數據的概念,必然會拓展如何有效實現結構化數據和非結構化的數據對接問題。實際工作上的多種類型的數據的數據進行分析的基礎上,提高對對象的多種類型的描寫和數據測度的能力。傳統的統計分析注重推斷,分析的統計數據,更加注重表現透露,這是周密地為了觀察。對刀片怎么目的和統計數據結構化收集大量需求比結熱點透視構化數據中發掘并有價值的信息并有機結合,相輔相成的剩下的課題,討論如何能夠實現非結構化數據結構化更好的分析、結構化數據與否,可以使用非結構化表示:“更容易調整等以課題中需要解決的問題。franks也幾乎沒有。分析過程直接對非結構化分析數據也沒有直接在非結構化的數據而得出的結論。目前計算機學界已著手研究開發(r&d)的技術數據處理結構化直接通過統計數據結構化處理費或具備知識的數據、結構化性非常重要的研究領域。我們堅信通過各種方法特定結構化數據和非結構化的數據完美地實現竭盡全力地的。(四)數據關系分析重點的轉變。傳統的統計數據處理一般分析工作時,事先搞清事物之間存在某種因果關系后,在解決因果關系的基礎上制定構建驗證的家庭,事先模型因果關系。大數據時代、數據時代衍生出的對統計分析的創意和技術的革新開闊的視野我們”,他看到很多可以去未發現之前發現的事物之間的聯系,可在年初大容量數據上發現的各種存在相關關系。我們分析數據時再探索捕捉不到的因果關系事物的寒霜關注根據關系變量或現象之間的相互關系進行了此及由表及由、彼里的關聯。根據奧姆數據時代的重要任務之一的大規模相關的分析。然而,大學的數據,“什么”和“為什么”的時代要求,只有這樣,我們才能更好地理解“什么是它?”真正了解數據的原因和背景。因果關系很重要,他決定深入分析數據。如果一半的數據分析與深度的程度有關,如果進行分析的話,第一個是我們感到困惑。因果關系可以幫助我們更好地利用相關性,例如,某事物的原因可能是共同的結果,所以諸如事物之間的關聯。我們可以幫助更理性的決策,甚至預測未來。事物的因果關系,可以用于進一步的好萊塢數據。另一方面,兩者之間因果關系的基礎。相關分析和對平行抗辯的分析,額外的學分可以補充和。(五)統計研究工作的重心的轉變。傳統統計研究所工作的重心將收集的基礎資料原委的數據、大數據的時代,則更什么樣的選擇有用的數據。專門的抽樣調查中充分關注設計統計的提取樣本機隨性并不那么多的音響帶來了不小的沖擊。大學時代、統計數據,可能會面臨處理。許多非隨機數據,如何辨別音響效果更為突出的任務。除此之外,掌握的資料,選擇頗顯著。如果有缺陷的依賴的數據,如果決策產生相當大的影響。但同時也應該清楚的數據,并不能掩蓋所有數據前也是相對的再加上一定是一個具有代表性的樣本的情報的人,呈指數增長需要驗證”的假設了同樣的快速增長。亟待解決的問題和復雜,而且水平也同樣的速度增長。更好的方法,對日尋求信號和音響效果的區別。信息只接受了旨在查明真相的必要條件,不是充分條件。但無信息不真相查明真相就達信息。數據可以滿足既定事實化的其用途,才可以高質量的數值過于依賴。(六)統計研究中分析思維的轉變。(1)傳統的統計分析過程分為三個步驟:穩定性、定量和定性。首先,有必要通過經驗找到統計方向,其目的是掌握知識、分析數據和處理數據。我們可以根據結果得出最終結論。數據、定量統計分析過程是發現“有限數量的各種直接信息的極限”的基礎,對我們所需要的信息進行分析,找出數據的特征和數量關系,并在判斷和決策的基礎上進行分析。(2)傳統的統計實證分析的路徑通常是“假設-測試”,即根據統計數字的第一項建議,繼續假設、數據收集、分析,最后得出結論。事實證明,這種經驗分析有很大的誤差。在實證分析大數據的時代,很難找到思考絕不是一個簡單的假設檢驗,但“發現-總結”,全面和深入的了解研究對象,因此,整合數據,發現規則的關系,找到了,反復總結,結論,這將幫助更多,發現驚喜。(3)傳統的統計分析認為,在保證的前提下基于分布邏輯概率的分析過程,是對整個推理的,通常根據推理特征的一般特征,根據推理特征來判斷樣本的輪廓是正確的?,F在這個過程是實際分布的基礎上,所有的功能,并確定什么時間的概率是政治對手或動態大學數據對象是所有的數據的大小不需要遵循分布理論說:“與一般特征相比,計算方法,根據推遲[2]。(七)統計研究中應用技術的轉變傳統的統計研究分析技術手段已經不能滿足大數據信息數據研究的需要,進入大數據時代,統計研究工作與計算機的結合變得更加緊密。統計研究工作的進行不僅僅局限于掌握統計體系知識,對計算機技能的要求也開始變得越來越依賴,數據庫、數據結構、統計軟件、算法設計、程序編碼等都是大數據時代統計研究工作中不可或缺的應用技術,同時融匯統計技術與計算機技術可以幫助我們更加便捷的處理統計研究工作,更好的解決復雜的數據處理問題,更大的發揮統計研究工作的作用。

三、小結

一個新生事物的出現將必定導致傳統觀念和技術的革命。大數據的到來,以其多樣性(Variety)、大量性(Volume)、高速性(Ve⁃locity)、易變性(Variability)、真實性(Veracity)和價值性(Value)等特點彌補了統計研究高成本、高誤差的劣勢,同時也重新定義了統計研究工作的含義,對傳統的統計研究工作提出了諸多的挑戰。但這并不意味著統計研究工作就此結束,反而使其可以在越來越多的領域得以應用,統計研究人員應及時認清大數據給統計研究工作帶來的潛力,在抽樣調查的工作思想、數據信息重新認識、數據對接與處理方式、數據關系分析重點、統計工作重心以及分析思維等方面進行轉變,依靠深厚的統計研究方法對大數據思想進行系統的理論、實踐研究,創造出迎合大數據的新統計方法,擴大統計研究工作應用領域,并且使統計學科得以延伸,提高了統計學科在自然科學和社會科學中的地位,這對統計研究工作者來說雖然是挑戰,但更大的則是機遇。我們應該牢牢抓住大數據帶來的機遇,沉著冷靜的應對挑戰,將大數據與統計研究有機地結合,使統計研究及統計學科更加適應現代社會發展需求。

作者:王舒 單位:中國人民大學

參考文獻:

[1]朱建平,章貴軍等.大數據時代下數據分析理念的辨析[J].統計研究,2014.2(31)10-17

[2]朱建平,張悅涵.大數據時代對傳統統計學變革的思考[J].統計研究,2016.2(33)3-9

[3]符一平.淺談統計學在大數據時代面臨的機遇、挑戰及其發展趨勢[J].教育教學究,2016.7(19)245-246

[4]張艷.大數據時代的統計研究[J],統計聚焦,2016(9)6-7

[5]GrobelinkM.Big-datacomputing:Creatingrevolutionarybreakthroughsincommerce,scienceandsociety[N/OL].Scientificdoc⁃umentsthatcitethefollowingpaper,2012.10(2).

[6]BrianHopkins,BorisEvelson.Expandyourdigitalhorizonwithbigdata[N/OL]Forrester,2011.9(30).

[7]劉念真.利用Oracle信息模型駕馭大數據[R],https://wenku.baidu.com.

[8]邱東.大數據時代對統計學的挑戰[J].統計研究,2014.1(31)16-22