導(dǎo)語(yǔ)：大數(shù)據(jù)技術(shù)證券行業(yè)分析一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要：大數(shù)據(jù)技術(shù)是證券行業(yè)主要研究的科技創(chuàng)新方向之一，文章對(duì)大數(shù)據(jù)技術(shù)在國(guó)內(nèi)證券行業(yè)的研究現(xiàn)狀進(jìn)行介紹，并對(duì)大數(shù)據(jù)技術(shù)研究方向進(jìn)行劃分，對(duì)建設(shè)大數(shù)據(jù)平臺(tái)面臨的困難進(jìn)行分析，對(duì)平臺(tái)框架構(gòu)建進(jìn)行了深入介紹。從而可以使證券公司結(jié)合情況，選擇最適用于自己的大數(shù)據(jù)技術(shù)策略，并提高困難解決能力，構(gòu)建出適用自己的大數(shù)據(jù)技術(shù)框架。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；證券行業(yè)；大數(shù)據(jù)技術(shù)框架

近幾年在金融行業(yè)，“金融科技”、“監(jiān)管科技”等詞匯總是會(huì)被人們頻繁提起，這是因?yàn)榭萍紝?duì)證券行業(yè)的服務(wù)模式起到了極為深刻的變革創(chuàng)新。隨著金融科技中的新興技術(shù)的蓬勃發(fā)展，證券行業(yè)如何正確使用這類新興技術(shù)，如何將自身發(fā)展同這類技術(shù)綁定，這些問(wèn)題都留給了證券行業(yè)很多的選擇。

1大數(shù)據(jù)技術(shù)的國(guó)內(nèi)現(xiàn)狀

隨著大數(shù)據(jù)技術(shù)進(jìn)入國(guó)內(nèi)的證券行業(yè)，越來(lái)越多的證券公司都開(kāi)始覺(jué)察到大數(shù)據(jù)的價(jià)值，逐漸開(kāi)始啟動(dòng)大數(shù)據(jù)的相關(guān)研究和分析工作，試圖通過(guò)大數(shù)據(jù)技術(shù)挖掘海量數(shù)據(jù)的實(shí)際價(jià)值。現(xiàn)介紹三則證券公司的使用實(shí)例。交易日志監(jiān)控分析系統(tǒng)，是包含了手機(jī)端和網(wǎng)頁(yè)端日志的存儲(chǔ)，并對(duì)服務(wù)器性能，用戶交易行為和支撐系統(tǒng)運(yùn)營(yíng)狀況進(jìn)行監(jiān)控分析。交易日志監(jiān)控分析系統(tǒng)支持海量的日志存儲(chǔ)和分析，提高了現(xiàn)有系統(tǒng)的管理和運(yùn)營(yíng)水平。異常交易預(yù)警系統(tǒng)是基于大數(shù)據(jù)平臺(tái)中的相關(guān)用戶信息，對(duì)異常交易行為進(jìn)行提前預(yù)警，比如高買(mǎi)低賣利益?zhèn)魉皖A(yù)警，長(zhǎng)期閑置賬戶頻繁異動(dòng)預(yù)警，大量委托查詢請(qǐng)求預(yù)警等。客戶畫(huà)像系統(tǒng)是將通過(guò)自由源數(shù)據(jù)和第三方數(shù)據(jù)收集的客戶信息傳送到大數(shù)據(jù)平臺(tái)中，對(duì)數(shù)據(jù)進(jìn)行計(jì)算后將結(jié)果放入到用戶畫(huà)像系統(tǒng)和模型管理系統(tǒng)中，得到的最終輸出結(jié)果作為業(yè)務(wù)應(yīng)用。用戶畫(huà)像系統(tǒng)是對(duì)客戶進(jìn)行計(jì)算分析后，添加各類描述標(biāo)簽，構(gòu)建出一個(gè)嚴(yán)格的標(biāo)簽體系，并把結(jié)果推送給業(yè)務(wù)進(jìn)行使用。畫(huà)像系統(tǒng)和模型系統(tǒng)得到的最終分析結(jié)果，可以一起發(fā)送給上層應(yīng)用，實(shí)現(xiàn)金融產(chǎn)品推薦，精準(zhǔn)廣告投放，線下客服溝通，風(fēng)險(xiǎn)防控等服務(wù)。

2大數(shù)據(jù)平臺(tái)的構(gòu)建

2.1大數(shù)據(jù)技術(shù)的分類劃分。針對(duì)大數(shù)據(jù)技術(shù)的數(shù)據(jù)實(shí)時(shí)性特點(diǎn)和計(jì)算復(fù)雜程度的特征，可以對(duì)大數(shù)據(jù)技術(shù)的使用情況進(jìn)行復(fù)雜程度和實(shí)時(shí)性分類，根據(jù)這樣的劃分，得以結(jié)合證券公司本身的研發(fā)特點(diǎn)和實(shí)力，制定出相應(yīng)的研發(fā)方向，建立起自身的競(jìng)爭(zhēng)優(yōu)勢(shì)。研發(fā)的方向可以歸納為四個(gè)類型——描述型、診斷型、預(yù)測(cè)型和指導(dǎo)型。傳統(tǒng)企業(yè)都比較擅長(zhǎng)使用描述型數(shù)據(jù)和診斷型數(shù)據(jù)，所以真正把數(shù)據(jù)運(yùn)用得當(dāng)，取決于預(yù)測(cè)型數(shù)據(jù)和指導(dǎo)型數(shù)據(jù)的使用。描述型數(shù)據(jù)主要體現(xiàn)在報(bào)表類業(yè)務(wù)，其讓事件反映的具體、清晰；診斷型數(shù)據(jù)是針對(duì)所出現(xiàn)的問(wèn)題進(jìn)行判斷分析，比如根據(jù)財(cái)務(wù)數(shù)據(jù)的指標(biāo)，發(fā)現(xiàn)企業(yè)的財(cái)務(wù)運(yùn)行情況等；預(yù)測(cè)型數(shù)據(jù)是由數(shù)據(jù)來(lái)預(yù)測(cè)將來(lái)事物發(fā)展的趨勢(shì)，可以提前發(fā)現(xiàn)事物的潛在問(wèn)題再進(jìn)行糾正，也可以預(yù)測(cè)行情變換進(jìn)行投資交易獲利；指導(dǎo)型數(shù)據(jù)可以根據(jù)客戶的行為習(xí)慣來(lái)挖掘客戶的潛在需求，幫助證券公司做出更好的產(chǎn)品或者對(duì)應(yīng)服務(wù)，指定針對(duì)性營(yíng)銷方案從而獲得更好的投資回報(bào)。2.2大數(shù)據(jù)平臺(tái)構(gòu)建的困難。證券公司在構(gòu)建真正的大數(shù)據(jù)平臺(tái)時(shí)，應(yīng)該結(jié)合自身的實(shí)際情況，分析將要面臨的困難挑戰(zhàn)。證券公司所面臨的困難可以分為五大方面，分別是：性能、海量、實(shí)時(shí)、精準(zhǔn)、共享。性能問(wèn)題是指客觀硬件上性能不足，導(dǎo)致數(shù)據(jù)運(yùn)行時(shí)間長(zhǎng)，復(fù)雜查詢或者過(guò)高頻率的并發(fā)查詢的效果過(guò)差。海量問(wèn)題是客觀存在的多樣性大量數(shù)據(jù)所導(dǎo)致的問(wèn)題，這是因?yàn)閿?shù)據(jù)的格式過(guò)于多樣，而承載數(shù)據(jù)量總是有限的，不可能存儲(chǔ)全部的海量數(shù)據(jù)。實(shí)時(shí)性是指獲取和處理數(shù)據(jù)的能力，實(shí)時(shí)性的局限會(huì)對(duì)實(shí)施事件、動(dòng)態(tài)營(yíng)銷、智能服務(wù)等造成影響。精準(zhǔn)性困難是指缺乏對(duì)投資者資產(chǎn)臺(tái)賬清算的思維，僅僅依靠傳統(tǒng)的技術(shù)手段是無(wú)法全面掌握客戶的需求和偏好。共享性困難是指數(shù)據(jù)難以提取和使用，訪問(wèn)的方式過(guò)于單一，對(duì)不同業(yè)務(wù)系統(tǒng)或者專項(xiàng)統(tǒng)一數(shù)據(jù)的支撐能力的有限性。在面對(duì)這些數(shù)據(jù)的同時(shí)，應(yīng)該以數(shù)據(jù)為起點(diǎn)，應(yīng)用為核心，而整個(gè)過(guò)程是重復(fù)著“去解決數(shù)據(jù)問(wèn)題”和“數(shù)據(jù)去解決問(wèn)題”的反饋機(jī)制，在這個(gè)機(jī)制中，證券公司應(yīng)該不斷加強(qiáng)數(shù)據(jù)應(yīng)用能力、數(shù)據(jù)運(yùn)算能力和數(shù)據(jù)融合能力。2.3大數(shù)據(jù)平臺(tái)框架構(gòu)建。大數(shù)據(jù)平臺(tái)的總體框架是由平臺(tái)、引擎和行業(yè)數(shù)據(jù)模型三者構(gòu)建。其中平臺(tái)包含數(shù)據(jù)整合平臺(tái)（ETL工具集）、數(shù)據(jù)管控平臺(tái)（數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、元數(shù)據(jù)管理、運(yùn)維監(jiān)控）和數(shù)據(jù)服務(wù)平臺(tái)（數(shù)據(jù)資源管理、數(shù)據(jù)服務(wù)總線、安全監(jiān)控等）；數(shù)據(jù)流引擎包含計(jì)算引擎和數(shù)據(jù)流引擎；最后的模塊是行業(yè)數(shù)據(jù)模型。如下將對(duì)個(gè)組成模塊進(jìn)行講解。數(shù)據(jù)整合平臺(tái)需要采取不同業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，平臺(tái)為了適應(yīng)據(jù)中心多類型數(shù)據(jù)源采集的需要，需要支持多種類型的數(shù)據(jù)采集方式，其中主要包括：第三方工具集成（Kettle/Infor-matica、Flume、Kafka）、消息隊(duì)列接口(點(diǎn)對(duì)點(diǎn)模式、與訂閱模式、實(shí)時(shí)消息隊(duì)列)、API接口（接口封裝技術(shù)、API多調(diào)用方式、API可擴(kuò)展設(shè)計(jì)）、和FTP/SFTP接口（接口信息配置、采集觸發(fā)設(shè)置、裝載規(guī)則設(shè)置）等。數(shù)據(jù)管控平臺(tái)是對(duì)數(shù)據(jù)質(zhì)量或者系統(tǒng)運(yùn)行進(jìn)行監(jiān)控。在運(yùn)維監(jiān)控功能上，主要分析ETL日歷、數(shù)據(jù)分布、變化趨勢(shì)、存儲(chǔ)情況和大表；元數(shù)據(jù)管理上針對(duì)的是數(shù)據(jù)字典、數(shù)據(jù)標(biāo)準(zhǔn)、調(diào)度關(guān)系、數(shù)據(jù)表登記和映射；元數(shù)據(jù)分析包含了血統(tǒng)分析、影響分析等；數(shù)據(jù)質(zhì)量管理是針對(duì)數(shù)據(jù)監(jiān)控報(bào)告、閥值檢測(cè)、字典異動(dòng)、清洗結(jié)果和檢測(cè)配置管理等；系統(tǒng)管理則是對(duì)系統(tǒng)參數(shù)和系統(tǒng)資源進(jìn)行統(tǒng)一管理。數(shù)據(jù)服務(wù)平臺(tái)的定位是為數(shù)據(jù)服務(wù)的提供開(kāi)發(fā)能力和數(shù)據(jù)支持，并且提供滿足證券公司內(nèi)外部客戶需求的能力。平臺(tái)需要對(duì)服務(wù)進(jìn)行監(jiān)控和管理，保證數(shù)據(jù)的安全。服務(wù)監(jiān)控是要對(duì)配合進(jìn)行控制、對(duì)流量進(jìn)行控制、對(duì)日志進(jìn)行控制；服務(wù)管理，是要做好服務(wù)的、服務(wù)編排、服務(wù)目錄管理和服務(wù)結(jié)算；在數(shù)據(jù)安全方面，要對(duì)數(shù)據(jù)進(jìn)行脫敏處理，對(duì)數(shù)據(jù)進(jìn)行加密，保證接入安全，事后進(jìn)行審計(jì)。數(shù)據(jù)服務(wù)平臺(tái)的構(gòu)建，首先是對(duì)大數(shù)據(jù)進(jìn)行存儲(chǔ)，并且分配好數(shù)據(jù)服務(wù)層、功能服務(wù)層和基礎(chǔ)服務(wù)層[1]。數(shù)據(jù)服務(wù)層包含了業(yè)務(wù)數(shù)據(jù)、客戶數(shù)據(jù)、風(fēng)險(xiǎn)數(shù)據(jù)、產(chǎn)品資源數(shù)據(jù)、渠道解除數(shù)據(jù)等；功能服務(wù)層，包含了分析服務(wù)、展示服務(wù)、日志服務(wù)、事件通知服務(wù)、數(shù)據(jù)查詢服務(wù)、數(shù)據(jù)處理服務(wù)、數(shù)據(jù)交換服務(wù)等；基礎(chǔ)服務(wù)層包含了位置服務(wù)、用戶畫(huà)像服務(wù)、價(jià)值洞察服務(wù)等等。服務(wù)開(kāi)放總線提供對(duì)業(yè)務(wù)的支持，總線需要滿足接入功能（HTTP、JDBC、消息等）、路由功能（服務(wù)查找、服務(wù)路由）、負(fù)載功能（負(fù)載均衡、服務(wù)緩存）和適配功能（SQL、MR、Hbase等）。計(jì)算引擎需要實(shí)現(xiàn)的目標(biāo)是精益化計(jì)算，對(duì)多年沉淀積累的行業(yè)數(shù)據(jù)進(jìn)行計(jì)算。計(jì)算引擎可自行定義運(yùn)算流程，使用豐富的運(yùn)算組件并靈活調(diào)度，達(dá)到流程節(jié)點(diǎn)可視化，整個(gè)流程達(dá)到可調(diào)可用可改。同時(shí)也要求計(jì)算引擎實(shí)現(xiàn)多模式計(jì)算，根據(jù)業(yè)務(wù)設(shè)計(jì)運(yùn)算模式，支持復(fù)雜業(yè)務(wù)的定義，達(dá)到隨時(shí)可用，隨時(shí)可取的要求，并且全面支持基礎(chǔ)業(yè)務(wù)組件。計(jì)算引擎是由分析引擎、批量計(jì)算引擎和實(shí)時(shí)計(jì)算引擎三者構(gòu)建，其中分析引擎主要含有MPP組、OLAP、Smlib和ES；批量計(jì)算引擎有Spark等；實(shí)時(shí)計(jì)算引擎有SparkStreaming和Rddis組成。數(shù)據(jù)流引擎的流程是從組建涉及、流程設(shè)計(jì)、作業(yè)管理到作業(yè)日志進(jìn)行分部處理。行業(yè)數(shù)據(jù)模型按照數(shù)據(jù)倉(cāng)庫(kù)模型的層次劃分，依次分為業(yè)務(wù)建模、領(lǐng)域建模、邏輯建模和物理建模。業(yè)務(wù)建模中的模型為業(yè)務(wù)模型，將業(yè)務(wù)層面的分解和程序化；領(lǐng)域建模中的模型為領(lǐng)域模型，是對(duì)業(yè)務(wù)模型進(jìn)行抽象處理，生成領(lǐng)域模型；邏輯建模中的模型為邏輯模型，是將領(lǐng)域模型的概念實(shí)體以及實(shí)體之間的關(guān)系進(jìn)行數(shù)據(jù)庫(kù)層次的邏輯化。物理建模中的模型為物理模型，解決邏輯模型針對(duì)不同關(guān)系型數(shù)據(jù)庫(kù)的物理化，以及服務(wù)器性能等具體的技術(shù)問(wèn)題[2]。構(gòu)建一個(gè)完整的行業(yè)數(shù)據(jù)模型，需要對(duì)業(yè)務(wù)進(jìn)行全面梳理，對(duì)業(yè)務(wù)流程加以改進(jìn)。要建立全方位的數(shù)據(jù)視角，消滅信息孤島和數(shù)據(jù)差異，致力于解決業(yè)務(wù)的變動(dòng)性和數(shù)據(jù)倉(cāng)庫(kù)的靈活性帶來(lái)的問(wèn)題，幫助數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)進(jìn)行自我建設(shè)。

3結(jié)語(yǔ)

本文對(duì)大數(shù)據(jù)技術(shù)的分析和框架搭建的介紹和建議，可以在證券行業(yè)進(jìn)行大數(shù)據(jù)技術(shù)實(shí)踐中得以學(xué)習(xí)借鑒和技術(shù)參考，為企業(yè)提供更多的創(chuàng)新思路，得以結(jié)合證券企業(yè)自身情況和特點(diǎn)找到符合公司本身的發(fā)展之路。相信本文可以對(duì)證券行業(yè)進(jìn)行大數(shù)據(jù)技術(shù)探索的工程師，學(xué)數(shù)據(jù)技術(shù)的愛(ài)好者起到良好的指導(dǎo)作用，也對(duì)證券公司如何進(jìn)行金融創(chuàng)新變革有著很好的方向指引意義。

參考文獻(xiàn)：

[1]馬彥圖.云計(jì)算技術(shù)在農(nóng)業(yè)信息共享服務(wù)平臺(tái)中的應(yīng)用[J].西安工程大學(xué)學(xué)報(bào),2016(4):494-497

[2]賀曉鋒.基于Teradata的銀行數(shù)據(jù)倉(cāng)庫(kù)模型研究與優(yōu)化[D].軟件工程,2008.

作者:徐天譽(yù) 單位:南京證券股份有限公司