導語：大數據關鍵技術在物流企業的應用一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要：物流企業在開展物流業務時會產生大量的數據，這些數據若能被有效利用，將為物流企業提效增值。物流企業越來越重視大數據所帶來的商業價值，并被物流企業視為戰略性資源。文章分析物流企業應用大數據技術的價值，列舉了物流企業常用的大數據關鍵技術。

關鍵詞：大數據；大數據技術；物流

互聯網技術出現之前，物流企業主要使用一些單機版的應用軟件來處理業務，這種應用系統都比較孤立，所產生的數據主要是在人機交互時產生的，大多是物流業務數據，這些數據大多是結構化的，并且增長速度緩慢。互聯網技術出現后迅猛發展，尤其是移動互聯網技術的發展，由此步入了大數據時代，物流數據的容量上發生了變化，數據來源也發生了質的變化，除了人機交互會產生數據，設備、服務器、應用系統都會產生數據，這些數據包括了用戶行為數據、定位數據、圖片、視頻等等，它們呈現幾何級增長，并以非結構、半結構化為主，這給數據處理技術帶來了挑戰。

1大數據與大數據技術

大數據也稱為海量數據，具有數據容量巨大，數據類型復雜，價值密度低等特性。大數據技術是依托云計算、云存儲和虛擬化等技術，從海量的、種類繁雜的數據當中，采用分布式計算架構，讓用戶在最短時間內獲取有用的信息技術。大數據技術是對各類數據進行整理、分析、比對，對數據進行深度挖掘，這包括了提取非結構化數據的特征，檢索、理解半結構化數據的內容等。大數據技術現已成為信息時代的一大新興產業，并引起了社會各界的高度關注，成為大數據采集、存儲、處理和呈現的有力工具，主要運用在大數據采集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用（大數據可視化、大數據檢索、大數據安全等）等方面[1]。

2物流企業應用大數據技術的價值分析

物流各個環節，如運輸、倉儲、裝卸、搬運、包裝及流通加工等，會產生大量的數據。物流大數據，是指物流活動過程中，開展如供給、需求等物流服務時產生的各種相關數據，而這些數據是海量的、無序的。如今，物流企業越來越重視大數據所帶來的商業價值，并被物流企業視為戰略性資源。物流大數據本身不存在價值，但通過對物流大數據分析并應用，就能體現出其價值所在。掌握大數據，挖掘大數據，應用大數據技術，能夠產生大量的商業價值，這一觀點已經被整個物流行業所認同。2.1有利于物流企業提高管理效率。長期以來，物流管理上還是存在很多問題，例如倉儲運輸中空間利用不科學、安全性差、燃油效率低下、周轉時間隨路徑而浮動等。物流企業對數據處理的水平比較低。原有的傳統的數據處理方式如數據收集、加工、存儲和傳輸已經不適應物流企業對數據管理的需求。而大數據技術可以有效地解決這些問題，它能更好地收集、整合、分析和處理數據，數據融合性更好，零亂雜散的數據變得系統和有序，以提升物流數據的價值。例如實現合理布局倉儲運輸的空間，能最優和最短選擇好物流運輸行程路徑。2.2有利于物流企業做出正確的決策。物流企業的決策主要包括三個方面，即合作與競爭的決策、供需匹配的決策、資源配置的決策。傳統的物流決策是根據個人經驗，結合市場調研而制定的，這種決策方式已不能適應如今的信息化時代。實際上，單憑市場調研、個人經驗是無法預測物流市場的需求變化，真實的、海量的物流市場原始數據才是做出科學決策的依據。物流企業通過運用大數據技術對市場的原始數據進行收集、分析、處理，可以全面地、深層次地了解到合作者（或者競爭對手）的真實情況，從而做出合作（或競爭）的判斷；對特定區域、特定時期的物流供需情況進行分析，從而做出合理的配送管理決策；實時監測市場變化，從動態性和隨機性的數據中提取當前的物流需求信息，同時對已配置和將要配置的資源進行優化，做出合理的資源配置決策，從而實現對物流資源的合理利用[2]。2.3有利于建立良好的客戶關系。傳統的客戶關系數據一般來源于企業的客戶管理系統，或是日常的積累，信息接收方式單一，這樣的數據容量有限，更新滯后，客戶的需求得不到實時跟蹤，也達不到及時滿足。隨著互聯網等信息技術的發展，客戶對物流的評價與反饋、需求等信息可能會出現在QQ簽名、微信朋友圈，微博日志里，呈現的形式也是多種多樣，可能是文字，可能是圖片，也可能是語音，還可能是視頻。物流企業運用大數據技術可以從這些大量的數據源中篩選、提取有用的信息，并對這些數據進行加工、處理、整合，形成有利于物流企業進行客戶管理的數據，從而有效減少了客戶投訴，服務變被動為主動，通過對新老用戶的大數據挖掘和分析，可以滿足客戶需求，增強客戶信用度，培養客戶粘性，減少客戶流失。

3物流企業應用大數據關鍵技術的狀況

按照對大數據的處理流程來說，物流企業主要應用的大數據關鍵技術包括了大數據采集技術、大數據前期處理技術、大數據存儲技術和大數據分析挖掘技術。3.1大數據采集技術在物流企業中的應用。物流企業經常遇到這樣的問題：大量用戶并發訪問和操作，產生了海量的數據，包括了RFID射頻數據、海量網絡數據、移動互聯網數據等，而這些海量數據呈現的方式不同，有結構化、半結構化及非結構化的，在數據采集上存在困難。為此，這可以采用如下大數據采集技術來解決。1）數據庫采集。使用MySQL和Oracle等工具來管理數據，同時利用Sqoop和結構化數據庫間的ETL工具，開源的Kettle和Talend也集成大數據內容，和hdfs、hbase及其它主流數據庫之間實現數據同步。2）移動互聯網數據采集。借助網絡爬蟲或網站公開API等方式，實現有效地對移動互聯網數據的采集。主要方式是從網絡上獲取數據和信息，有效提取移動互聯網上大數據，使移動互聯網非結構化數據，半結構化數據通過加工，變為結構化的有序數據，并將其存儲為統一的本地數據文件。3）數據文件采集。進行實時的文件采集和處理有多種方式。Flume是Cloudera公司提供的一個日志采集、聚合和傳輸的系統，具有高可用性，高可靠性等特點。ELK是Elastic-search、Logstash、Kibana三者的組合技術，能實現日志數據處理，通過模板配置，以實現文件采集[3]。3.2大數據前期處理技術在物流企業中的應用。采集物流原始數據后，必須對其進行前期處理，客戶和貨物數據的前期處理工作尤為重要。物流數據前期處理主要涉及到對物流原始數據的清理、填補、集成、合并、規格化和一致性等，使雜亂無章的數據有序化，經處理后的數據結構相對單一，以便于處理，為后期物流數據分析創造條件。1）物流數據清理。ETL和Potter'sWheel是物流數據清理的主要工具。ETL和Potter'sWheel能有效實現對組內的數據處理，如物流大數據平滑處理、聚類、計算機人工檢查和回歸等方法，并且能去除噪音，以解決數據遺漏問題。2）物流數據集成。原始物流數據是雜亂和零散的，通過物流數據集成可以將其結構化、有序化。具體做法是將物流數據源中的數據進行合并，以存放到一個結構統一的數據庫中。數據冗余、模式匹配、數據值沖突檢測與處理是必須解決的問題。3）物流數據變換。物流數據轉換分為兩種，即數據格式及名稱的統一和數據處理。其中，數據格式及名稱的統一包括了對數據粒度轉數據格式、計量單位、商務計算和標準命名等；數據處理是通過數據庫字段分割計算或組合，以解決數據冗余問題。3.3大數據存儲技術在物流企業中的應用。MPP架構的數據庫集群、Hadoop技術擴展和封裝、大數據一體機是最典型的三種大數據存儲技術。1）采用數據庫集群MPP架構。MPP(MassivelyParallelProcessing，即大規模并行處理)，MPP是將任務并行的分散到多個服務器和節點上，再匯總在每個節點上計算完成后的結果，形成最終結果。主要面向物流行業大數據，采用MPP架構來建立數據庫集群，采用SharedNothing架構，利用多種大數據處理技術，如粗粒度索引、列存儲等，然后結合分布式計算，以完成對分析類應用的支撐。2）利用Hadoop技術進行擴展和封裝。Hadoop是一個分布式系統基礎架構。HDFS和MapReduce是Hadoop的核心的設計，它們分別提供了存儲和計算的支持，其中，HDFS為海量的物流數據的存儲提供支持，而MapReduce則為海量的物流數據的計算提供支持。通過擴展和封裝的Hadoop技術來實現對物流大數據存儲、分析的支撐。3）大數據一體機。大數據一體機是物流大數據分析處理的理想產品，是硬件和軟件結合的產品。硬件包括服務器、存儲設備等；軟件是由數據庫管理系統和用于數據查詢、處理、分析的軟件組成的。大數據一體機性能好，處理能力強，且具有良好的穩定性和縱向擴展性。3.4大數據分析挖掘技術在物流企業中的應用。以物流車貨匹配平臺為例，車輛在進行物流運輸過程中，會產生海量大數據，如車輛特征、發車時間、停車時間、行駛距離、地理位置等。通過統計、分析這些數據，可以發現貨運車輛的行為特征，獲取區域物流的流量分布，甚至掌握社會經濟發展動態的信息。這為物流企業開展車輛調度提供了可靠的理論依據和技術支持，能使物流企業在時間、成本、路線方面做出科學決策，從而提高了物流企業貨運效率。1）物流數據可視化分析。數據可視化的直觀和有效方式是將數據圖形化。物流數據種類繁雜、數據結構不統一，物流企業借助可視化數據分析平臺，對數據進行關聯分析，構建物流數據分析圖表，使數據在展示方面簡單明了、清晰直觀，更易于接受。2）數據挖掘算法。數據分析與數據挖掘算法息息相關。數據挖掘算法的基礎是數據挖掘模型。物流企業可以通過數據收集分析和整理，創建挖掘模型的最佳參數，將這些參數應用于整個數據模型以便提取可行模式和詳細統計信息[4]。3）預測性分析。客戶需求、物流行業發展趨勢的預測對物流企業而言是很重要的。大數據分析主要是統計分析、預測建模、數據挖掘、實體分析、實時評分、文本分析和機器學習等，從雜亂的數據中找出有規律性的特征，以預測其發展的趨勢和方式，為物流企業的決策提供決策。4）語義引擎。對已有的數據進行語義解釋即是語義引擎。其實質是將現有結構化或者非結構化的數據庫進行語義注解。它直接的應用是可以將人們從復雜的搜索條目中解放出來，讓用戶能更有效地使用信息。用戶能更快、更準、更全地獲得所需信息，以提高用戶的互聯網體驗。

參考文獻：

[1]馬建光，姜巍.大數據的概念、特征及其應用[J].國防科技，2013，34(2)：10-17.

[2]彭小圣，鄧迪元，程時杰，等.面向智能電網應用的電力大數據關鍵技術[J].中國電機工程學報，2015，35(3)：503-511.

[3]MPP(大規模并行處理)簡介[EB/OL].https://blog.csdn.net/qq_42189083/article/details/80610092,2018-06-07.

[4]javastart.這才是真正的物流大數據挖掘思路[EB/OL].https://blog.csdn.net/javastart/article/details/50895409,2016-07-07.

作者:單位:湖南財經工業職業技術學院