引論：我們?yōu)槟砹?篇大數(shù)據(jù)應(yīng)用論文范文，供您借鑒以豐富您的創(chuàng)作。它們是您寫作時(shí)的寶貴資源，期望它們能夠激發(fā)您的創(chuàng)作靈感，讓您的文章更具深度。

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)應(yīng)用的交通管理論文

一、上海市公安交通管理信息化的基本情況與“大數(shù)據(jù)”應(yīng)用的初步探索和實(shí)踐

（一）數(shù)據(jù)深度挖掘與預(yù)測研究對海量數(shù)據(jù)進(jìn)行挖掘，分析、提煉出有價(jià)值的信息，一直是交警總隊(duì)在常態(tài)交通管理中努力和不斷嘗試并力求達(dá)到的分析動(dòng)態(tài)化、管理精細(xì)化的目標(biāo)。在交通事故預(yù)警方面，我們通過對370余萬條交通事故的地點(diǎn)、人員、車輛等信息分析，每年市、區(qū)兩級事故易發(fā)或死亡人數(shù)較多的“黑點(diǎn)”，由總隊(duì)定期督促屬地交警支（大）隊(duì)限期整改。針對一段時(shí)間內(nèi)本市欺詐性交通事故（俗稱“碰瓷”）高發(fā)的情況，我們建立并不斷補(bǔ)充完善了事故“碰瓷”嫌疑人員和車輛黑名單，通過提前預(yù)警、發(fā)案比對等方式累計(jì)鎖定相關(guān)嫌疑人415人，取得了很好的成效。在交通狀況評價(jià)方面，我們以道路擁堵程度、交通事故數(shù)量為主要評價(jià)要素，創(chuàng)新性地將各區(qū)（縣）地面道路和快速路的整體交通情況以“指數(shù)”的形式分色展現(xiàn)，供業(yè)務(wù)部門和支（大）隊(duì)參考。為掌握全市快速路交通流結(jié)構(gòu)和集散規(guī)律，我們利用分布在中環(huán)及中環(huán)以內(nèi)快速路上約300個(gè)斷面構(gòu)成的車牌識別系統(tǒng)實(shí)時(shí)采集流量數(shù)據(jù)，開展了集散性O(shè)D分析的探索，即將全市快速路網(wǎng)劃分成20個(gè)“小區(qū)”，通過數(shù)學(xué)建模和車輛信息的跟蹤，展現(xiàn)各“小區(qū)”間交通流轉(zhuǎn)移的時(shí)空分布特征，為擁堵成因分析、排堵預(yù)案制定等提供參考。在道口安保方面，我們通過對歷史數(shù)據(jù)的分類統(tǒng)計(jì)、比較，研究制定了重大活動(dòng)安保工作的道口查控方案。2010年上海世博會(huì)舉辦前夕，時(shí)任市委書記的俞正聲同志在G15沈海高速公路朱橋檢查站現(xiàn)場，對“車駕查控系統(tǒng)”的技術(shù)架構(gòu)、實(shí)時(shí)運(yùn)作以及海量數(shù)據(jù)的采集、分析及應(yīng)用狀況進(jìn)行了詳細(xì)調(diào)研，當(dāng)即要求我們研發(fā)“世博道口通行證管理及不停車安檢系統(tǒng)”。上海世博會(huì)期間，該系統(tǒng)累計(jì)實(shí)時(shí)關(guān)聯(lián)10多個(gè)數(shù)據(jù)庫，核發(fā)297.7萬余張通行證，不僅將進(jìn)滬車輛安全審核檢查關(guān)口前移，還通過利用“車駕查控系統(tǒng)”的實(shí)時(shí)比對功能，既做到了“持證”車輛的快速通行，又實(shí)現(xiàn)了“逢疑必查”的目標(biāo)。世博期間，系統(tǒng)比對命中有關(guān)車輛1.5萬余輛次，有效提升了民警的工作效率和打擊度，同時(shí)也對預(yù)防和緩解全市各道口因安檢引發(fā)的大面積擁堵問題起到了積極作用，減少了道口現(xiàn)場安檢壓力及對交通的影響，得到了各級領(lǐng)導(dǎo)和社會(huì)的一致肯定。在為“大公安”服務(wù)方面，我們嘗試定期將網(wǎng)上追逃人員信息與本市機(jī)動(dòng)車檔案進(jìn)行關(guān)聯(lián)比對，篩選出在逃人員可能駕駛的機(jī)動(dòng)車信息，累計(jì)抓獲在逃人員329名，探索出了“先由人查車、再由車查人”的信息提煉新方法，取得了很好的實(shí)戰(zhàn)效果。

（二）數(shù)據(jù)可視化隨著各類統(tǒng)計(jì)、分析數(shù)據(jù)的不斷增多，各級領(lǐng)導(dǎo)、基層民警都希望通過直接的“可視化”界面展示各類數(shù)據(jù)和信息。2009年，我們構(gòu)建了基于GIS地圖的應(yīng)用平臺，并將采集或共享的實(shí)時(shí)路況、“110”交通類報(bào)警事件、視頻監(jiān)控、快速路入口匝道控制、停車場泊位等信息在電子地圖上進(jìn)行分層次展現(xiàn)，這些實(shí)時(shí)、動(dòng)態(tài)的信息可按需隨時(shí)調(diào)閱。2010年上海世博會(huì)期間，根據(jù)安保工作的需要，我們制作了兩張專題圖?！斑M(jìn)滬陸路道口流量專題圖”實(shí)時(shí)展示當(dāng)日全市進(jìn)滬道口的機(jī)動(dòng)車流量、“持進(jìn)滬通行證”機(jī)動(dòng)車流量、5分鐘進(jìn)滬流量等信息和道口排隊(duì)區(qū)、安檢區(qū)的視頻監(jiān)控信息。此外，通過對各道口歷史流量的數(shù)據(jù)統(tǒng)計(jì)，提供流量預(yù)警信息?！笆啦﹫@區(qū)管控區(qū)周邊道路流量專題圖”除整合了全市快速路、高速公路、地面主干道路的實(shí)時(shí)路況和快速路匝道開閉狀態(tài)等信息外，實(shí)時(shí)展示當(dāng)日進(jìn)出世博管控區(qū)的機(jī)動(dòng)車流量、5分鐘流量等。兩張圖的應(yīng)用，為市公安局“二指”坐鎮(zhèn)指揮的領(lǐng)導(dǎo)以及民警實(shí)時(shí)掌握交通流量、科學(xué)指揮、調(diào)配警力等提供了依據(jù)，受到了充分肯定。

（三）參與“交通指數(shù)”的研究經(jīng)過多年的建設(shè)，上海已經(jīng)完成市區(qū)重要道路的交通流信息的采集，并實(shí)現(xiàn)以紅、黃、綠三種顏色代表路況的信息。為使交通參與者、客觀地了解本市道路交通的實(shí)時(shí)通行狀態(tài)，向其提供了量化的擁堵指標(biāo)。2009年，交警總隊(duì)在數(shù)據(jù)應(yīng)用上的視野不再僅著眼于自身，而是跨出一步，會(huì)同市政府相關(guān)部門，將手中的靜態(tài)數(shù)據(jù)和市政府相關(guān)部門可共享的動(dòng)態(tài)數(shù)據(jù)關(guān)聯(lián)起來。繼參與了榮獲上海市科技進(jìn)步一等獎(jiǎng)的“上海世博智能交通系統(tǒng)關(guān)鍵技術(shù)及應(yīng)用”項(xiàng)目研發(fā)之后，2011年起，交警總隊(duì)積極配合上海市城鄉(xiāng)建設(shè)和交通發(fā)展研究院（原上海市交通信息中心）研究“道路交通指數(shù)”。通過對大量采集的各類交通實(shí)時(shí)數(shù)據(jù)、歷史數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析、比較，最終用“道路交通指數(shù)”這一數(shù)值方式來量化描述道路交通運(yùn)行狀態(tài)，同時(shí)結(jié)合GIS地圖加以分色、分塊展現(xiàn)，并通過網(wǎng)站、微博、手機(jī)APP等向公眾實(shí)時(shí)，力爭做到既能客觀地評價(jià)交通擁堵狀況，又能方便出行者的理解與記憶。

二、與當(dāng)今“大數(shù)據(jù)”應(yīng)用的差距

目前，“大數(shù)據(jù)”的應(yīng)用處于發(fā)展初期，在我國更是剛剛起步。通過多年的實(shí)踐和積極探索，交警總隊(duì)“大數(shù)據(jù)”的應(yīng)用成效明顯，但我們感到，與當(dāng)今國內(nèi)外成功的“大數(shù)據(jù)”應(yīng)用相比，我們還存在差距，主要表現(xiàn)在：

（一）在理念和思維上仍存在差距隨著互聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)等相關(guān)智能技術(shù)的飛速發(fā)展，可以預(yù)見，“大數(shù)據(jù)”陳志康：公安交通管理“大數(shù)據(jù)”的應(yīng)用與研究在公安交通管理方面的應(yīng)用也將愈加廣泛。但與其“4V”（即Volume大量、Velocity高速、Variety多樣、Veracity真實(shí)性）特點(diǎn)相比，未來“大數(shù)據(jù)”的應(yīng)用與發(fā)展絕不是簡單依賴數(shù)據(jù)采集量的擴(kuò)大，也不僅僅是服務(wù)器性能、數(shù)據(jù)的簡單擴(kuò)容或累加，而是對于其中蘊(yùn)含的理念、思維的轉(zhuǎn)變和突破。與“小數(shù)據(jù)”時(shí)代相比，“大數(shù)據(jù)”時(shí)代的轉(zhuǎn)變是多方面的。例如，傳統(tǒng)統(tǒng)計(jì)方法追求，但“大數(shù)據(jù)”只預(yù)測宏觀趨勢；傳統(tǒng)的統(tǒng)計(jì)、研究關(guān)注因果關(guān)系，而“大數(shù)據(jù)”更強(qiáng)調(diào)數(shù)據(jù)之間的關(guān)聯(lián)等。

（二）在技術(shù)和手段上仍較為匱乏就我們目前擁有的各類交通管理數(shù)據(jù)而言，其體量并不能稱之為“大數(shù)據(jù)”。如果要同各警種的數(shù)據(jù)相關(guān)聯(lián)，與市政府相關(guān)部門的數(shù)據(jù)相融合，將數(shù)據(jù)的應(yīng)用轉(zhuǎn)化為生產(chǎn)力，其所面臨的困境還十分明顯，這也直接反映了我們在技術(shù)和手段上的匱乏。2009年，我們便已利用“數(shù)據(jù)倉庫”技術(shù)等當(dāng)時(shí)較為成熟和先進(jìn)的技術(shù)開展交通管理核心數(shù)據(jù)的深度挖掘，力求為業(yè)務(wù)部門提供更豐富、有效的統(tǒng)計(jì)數(shù)據(jù)，但受限于傳統(tǒng)關(guān)系型數(shù)據(jù)庫的架構(gòu)，無論在計(jì)算效率還是結(jié)果表現(xiàn)上均無法得到“質(zhì)”的突破。此外，我們對于海量視頻的快速檢索、車輛照片關(guān)鍵特征的提取等方面仍缺少高效的手段，使得對于這類非結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用、管理仍處于初級階段，對其中蘊(yùn)含的有深層次應(yīng)用價(jià)值的信息無法加以進(jìn)一步挖掘?！按髷?shù)據(jù)”的處理流程一般可概括為四個(gè)步驟，即“采集、預(yù)處理、統(tǒng)計(jì)分析、數(shù)據(jù)挖掘”。其中，“預(yù)處理”是當(dāng)前傳統(tǒng)數(shù)據(jù)處理中被忽視或被弱化的部分，除了受限于主流的關(guān)系型數(shù)據(jù)庫（如Oracle）、集中式存儲(chǔ)等架構(gòu)外，還與缺少將非結(jié)構(gòu)化數(shù)據(jù)（例如視頻、圖片、文本、聲音等）向結(jié)構(gòu)化數(shù)據(jù)（即可以用二維表結(jié)構(gòu)來表達(dá)的行數(shù)據(jù)，例如存儲(chǔ)在數(shù)據(jù)庫中的記錄）轉(zhuǎn)換的有效技術(shù)手段有著重要關(guān)系。所以，現(xiàn)有的統(tǒng)計(jì)分析、數(shù)據(jù)挖掘等絕大多數(shù)針對的是結(jié)構(gòu)化數(shù)據(jù)（目前僅占所有數(shù)據(jù)量的10%至20%，其余均為非結(jié)構(gòu)化數(shù)據(jù)），難以真正體現(xiàn)“大數(shù)據(jù)”多樣性的特點(diǎn)。

三、今后公安交通管理“大數(shù)據(jù)”的研究與應(yīng)用方向

（一）研究和建立“公安交通管理大數(shù)據(jù)應(yīng)用平臺”結(jié)合市公安局“十三五”信息化建設(shè)規(guī)劃，研究和建立“公安交通管理大數(shù)據(jù)應(yīng)用平臺”。不斷學(xué)習(xí)研究Hadoop、虛擬化等新技術(shù)，構(gòu)建全新的數(shù)據(jù)存儲(chǔ)、處理技術(shù)架構(gòu)，不但要使數(shù)據(jù)的存儲(chǔ)容量更大、運(yùn)算速度更快、展現(xiàn)形式更豐富，更要突破同類數(shù)據(jù)的局限，從看似毫不相干的數(shù)據(jù)之間發(fā)現(xiàn)關(guān)聯(lián)性，真正體現(xiàn)“大數(shù)據(jù)”的精髓。

（二）滿足數(shù)據(jù)采集的需求，提升管理水平“大數(shù)據(jù)”應(yīng)用的核心是數(shù)據(jù)挖掘，為公安交通管理中遇到的難點(diǎn)問題提供原因分析依據(jù)，但其基礎(chǔ)卻是所采集數(shù)據(jù)的質(zhì)量和種類。因此，一是要不斷提高各類交通管理相關(guān)基礎(chǔ)信息的采集質(zhì)量，為后續(xù)數(shù)據(jù)處理奠定堅(jiān)實(shí)的基礎(chǔ)。二是要積極建立與市交通委員會(huì)、市保監(jiān)會(huì)等社會(huì)相關(guān)部門的數(shù)據(jù)共享機(jī)制，擴(kuò)充與機(jī)動(dòng)車、駕駛?cè)恕⑻囟ㄐ袠I(yè)管理、道路等相關(guān)的數(shù)據(jù)類型。三是依托高校、科研院所等專業(yè)力量進(jìn)行深入研究，力爭突破圖片、視頻等海量非結(jié)構(gòu)化數(shù)據(jù)的管理難題，運(yùn)用有效的數(shù)據(jù)模型和架構(gòu)，實(shí)現(xiàn)類似結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一描述、查詢和處理。四是積極會(huì)同市公安局相關(guān)部門，在數(shù)據(jù)層面加強(qiáng)與市公安局“警綜平臺”“情報(bào)綜合研判實(shí)戰(zhàn)平臺”“視頻監(jiān)控平臺”“治安卡口信息綜合管理平臺”等的對接，為公安交通信息研判分析提供支撐。

（三）抓住重點(diǎn)，突破四個(gè)階段的核心技術(shù)應(yīng)用“瓶頸”我們要選擇合適的軟件、工具，真正將數(shù)據(jù)轉(zhuǎn)化為信息，并提煉出有價(jià)值的信息。在數(shù)據(jù)采集方面，重點(diǎn)解決高并發(fā)數(shù)的訪問、操作問題，使服務(wù)器、數(shù)據(jù)庫負(fù)載均衡并分片處理。在預(yù)處理階段，重點(diǎn)做好“生產(chǎn)庫”向“資源庫”的轉(zhuǎn)移和數(shù)據(jù)清洗等工作，滿足后續(xù)數(shù)據(jù)處理的實(shí)時(shí)計(jì)算需求。在統(tǒng)計(jì)分析階段，要在了解業(yè)務(wù)需求的基礎(chǔ)上，著重在不同數(shù)據(jù)的“關(guān)聯(lián)性”上下工夫，找到規(guī)律。在數(shù)據(jù)挖掘階段，要力爭實(shí)現(xiàn)數(shù)據(jù)從“事后統(tǒng)計(jì)”到“事前預(yù)測”的突破。

（四）以管理為中心、應(yīng)用為導(dǎo)向，建立配套的專業(yè)隊(duì)伍和管理機(jī)制“大數(shù)據(jù)”的決策不能僅憑經(jīng)驗(yàn)，而真正要“拿數(shù)據(jù)說話”，從深層次看，還需要建立科學(xué)的、與之相適應(yīng)的管理機(jī)制。同時(shí)，“大數(shù)據(jù)”的研究、建設(shè)、運(yùn)行、維護(hù)、應(yīng)用等每個(gè)環(huán)節(jié)都需要由會(huì)技術(shù)、善管理、懂業(yè)務(wù)的復(fù)合型專業(yè)人員來承擔(dān)。“大數(shù)據(jù)”時(shí)代才剛拉開序幕，目前，其許多技術(shù)瓶頸尚未取得突破，數(shù)據(jù)共享絕非易事，數(shù)據(jù)安全、共享和隱私保護(hù)等方面缺乏法律保護(hù)，配套的管理和運(yùn)作機(jī)制尚未形成。但是，“大數(shù)據(jù)”作為生產(chǎn)力，隨著其不斷發(fā)展、應(yīng)用，必將對公安交通管理工作產(chǎn)生深遠(yuǎn)的影響，有力地推動(dòng)各項(xiàng)業(yè)務(wù)工作向更高的層次發(fā)展。

作者：陳志康單位：上海市公安局交通警察總隊(duì)

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)時(shí)代的職校計(jì)算機(jī)應(yīng)用論文

一、大數(shù)據(jù)時(shí)代對學(xué)生計(jì)算機(jī)應(yīng)用能力的要求

在大數(shù)據(jù)時(shí)代環(huán)境下，信息的獲取和選擇、信息技術(shù)的掌握應(yīng)用，直接影響知識的生產(chǎn)、科技的創(chuàng)新和成果的轉(zhuǎn)化。大數(shù)據(jù)時(shí)代對高校的教學(xué)、學(xué)生的計(jì)算機(jī)應(yīng)用能力提出了新的要求。產(chǎn)業(yè)界需求與關(guān)注點(diǎn)發(fā)生了重大轉(zhuǎn)變，企業(yè)關(guān)注的重點(diǎn)轉(zhuǎn)向數(shù)據(jù)，計(jì)算機(jī)行業(yè)正在轉(zhuǎn)變?yōu)檎嬲男畔⑿袠I(yè)，從追求計(jì)算速度轉(zhuǎn)變?yōu)殛P(guān)注大數(shù)據(jù)處理能力，軟件也將從編程為主轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。學(xué)生要學(xué)會(huì)對數(shù)據(jù)的去冗分類、去粗取精，從數(shù)據(jù)中挖掘知識，要能夠把大數(shù)據(jù)變成小數(shù)據(jù)，要在不明顯增加采集成本的條件下盡可能提高數(shù)據(jù)的采集質(zhì)量。要研究如何科學(xué)合理地抽樣采集數(shù)據(jù)，減少不必要的數(shù)據(jù)采集。

二、大數(shù)據(jù)時(shí)代背景下的教學(xué)策略

（一）營造適合學(xué)生發(fā)展的軟硬件環(huán)境信息時(shí)代的發(fā)展使得高職院校圖書館和數(shù)據(jù)中心具備了大數(shù)據(jù)的特征?？茖W(xué)研究和科技創(chuàng)新越來越依賴于對數(shù)據(jù)的管理和利用，打造良好、適宜的軟硬件環(huán)境是提高職業(yè)院校學(xué)生信息素養(yǎng)的基礎(chǔ)。目前互聯(lián)網(wǎng)技術(shù)及應(yīng)用普及度較高，建設(shè)智慧校園可為學(xué)生提供更多的接觸信息資源的機(jī)會(huì)。加強(qiáng)高職院校數(shù)據(jù)中心和網(wǎng)絡(luò)中心的建設(shè)力度，在依托傳統(tǒng)圖書館文獻(xiàn)存儲(chǔ)量的基礎(chǔ)上，增加館藏圖文電子數(shù)據(jù)、電子文獻(xiàn)與多媒體文獻(xiàn)，打造信息化圖書館，為學(xué)生提供多元化的信息資源與服務(wù)。加強(qiáng)校園社交網(wǎng)絡(luò)平臺的建設(shè)，利用微信等新型傳播媒介，采用主動(dòng)推送的方式傳遞正能量，提供有益于學(xué)生健康成長的信息，監(jiān)控、屏蔽不良信息的傳播，過濾影響學(xué)生身心健康的不良信息，構(gòu)建適合高職院校學(xué)生學(xué)習(xí)的良好環(huán)境。

（二）發(fā)揮數(shù)字化圖書館在教育過程中的核心作用數(shù)字化圖書館的建設(shè)是圖書館業(yè)今后發(fā)展的主要方向。數(shù)字化圖書館也是一個(gè)科技含量較高的系統(tǒng)工程，高職院校各級領(lǐng)導(dǎo)應(yīng)正確認(rèn)識，加強(qiáng)資金投入，充分發(fā)揮其對教育過程的支持作用。數(shù)字化圖書館的典型特征是存儲(chǔ)數(shù)字化、操作計(jì)算機(jī)化、傳遞信息網(wǎng)絡(luò)化、信息存儲(chǔ)自由化和結(jié)構(gòu)連接化，可與高職院校的基礎(chǔ)建設(shè)可以同步推進(jìn)。在建設(shè)與發(fā)展過程中，教師要積極引導(dǎo)學(xué)生充分利用數(shù)字化信息資源。學(xué)生在使用數(shù)字化圖書館的過程中會(huì)產(chǎn)生一系列的行為特征數(shù)據(jù)。通過對學(xué)學(xué)習(xí)路徑和學(xué)習(xí)偏好的數(shù)據(jù)分析，根據(jù)其特點(diǎn)與實(shí)際量身設(shè)計(jì)合理的信息資源智慧導(dǎo)航，從而為學(xué)生學(xué)習(xí)新技術(shù)、新知識提供個(gè)性化的服務(wù)。

（三）加強(qiáng)學(xué)生創(chuàng)新能力的培養(yǎng)在知識經(jīng)濟(jì)時(shí)代，創(chuàng)新決定著一個(gè)國家和民族的綜合實(shí)力和核心競爭力。培養(yǎng)具有創(chuàng)新能力、實(shí)踐能力的高素質(zhì)技能人才，是高職院校人才培養(yǎng)的一個(gè)重點(diǎn)方向，也是高職辦學(xué)的特色及亮點(diǎn)。創(chuàng)新能力培養(yǎng)的關(guān)鍵是創(chuàng)新思維的培養(yǎng)，而創(chuàng)新思維的核心在于思維的獨(dú)特性和新穎性。在大數(shù)據(jù)時(shí)代，學(xué)生面臨眾多數(shù)據(jù)資源。教師需要對學(xué)生提供專業(yè)的指導(dǎo)，讓學(xué)生學(xué)會(huì)利用互聯(lián)網(wǎng)技術(shù)和計(jì)算機(jī)軟件工具解決實(shí)際問題，在解決問題的過程中培養(yǎng)創(chuàng)新思維。高職院校應(yīng)努力營造創(chuàng)新教育環(huán)境，結(jié)合創(chuàng)新教育，大力推進(jìn)素質(zhì)教育。將“小發(fā)明、小創(chuàng)造”“大學(xué)生實(shí)踐技能展演”“大學(xué)生才藝展示”等活動(dòng)納入校園文化活動(dòng)中。組織學(xué)生參加各行業(yè)舉辦的職業(yè)技能大賽，實(shí)現(xiàn)從應(yīng)試教育向素質(zhì)教育的轉(zhuǎn)軌，培養(yǎng)實(shí)用型、創(chuàng)新型的復(fù)合技能人才。充分重視學(xué)生的個(gè)性發(fā)展，建立專業(yè)的師資隊(duì)伍對學(xué)生的創(chuàng)造發(fā)明活動(dòng)給予強(qiáng)有力的技術(shù)指導(dǎo)。對于技術(shù)含量高的、有市場推廣價(jià)值的創(chuàng)造發(fā)明活動(dòng)，要引導(dǎo)學(xué)生進(jìn)行自主創(chuàng)業(yè)，帶動(dòng)就業(yè)。加大創(chuàng)新教育課程的開發(fā)與建設(shè)力度，強(qiáng)化學(xué)生創(chuàng)新能力的培養(yǎng)。

（四）培養(yǎng)學(xué)生對信息技術(shù)的興趣與愛好興趣是好的老師，是激發(fā)學(xué)生學(xué)習(xí)積極性的動(dòng)力，是激發(fā)創(chuàng)新能力的必要條件。學(xué)生只有對身邊的事物發(fā)生了興趣，才會(huì)活躍思維，激發(fā)潛力。在課程設(shè)計(jì)中加入了生動(dòng)、形象、貼近工作、貼近生活的典型案例，可以有效地激發(fā)學(xué)生的學(xué)習(xí)興趣，讓學(xué)生樂在其中，愉快地完成學(xué)習(xí)任務(wù)。教學(xué)實(shí)踐環(huán)節(jié)也應(yīng)緊密圍繞著學(xué)生熟悉的事物、案例來開展教學(xué)。授課教師應(yīng)了解信息技術(shù)在行業(yè)的實(shí)際應(yīng)用狀況，根據(jù)不同專業(yè)的特點(diǎn)，結(jié)合學(xué)生，的知識體系結(jié)構(gòu)精心準(zhǔn)備授課內(nèi)容，確定課程的重難點(diǎn)。在教學(xué)過程中，通過師生互動(dòng)了解學(xué)生對課程內(nèi)容的掌握程度，因材施教、精選案例、突出重點(diǎn)，從培養(yǎng)學(xué)生興趣與愛好入手，讓學(xué)生在輕松、愉悅的課堂教學(xué)中學(xué)習(xí)信息技術(shù)在專業(yè)領(lǐng)域的近期應(yīng)用，了解近期的前沿學(xué)科理念，學(xué)握較新的實(shí)用技術(shù)。教師如果在教學(xué)活動(dòng)中能及時(shí)、地解決學(xué)生在學(xué)習(xí)實(shí)踐中遇到的疑難，并指導(dǎo)他們完成實(shí)訓(xùn)內(nèi)容，將有助于學(xué)生在學(xué)習(xí)過程中獲得成就感，激發(fā)學(xué)習(xí)的積極性、主動(dòng)性和創(chuàng)造性。教師動(dòng)手實(shí)踐能力將使得更多的學(xué)生得到有效指導(dǎo)和幫助，實(shí)現(xiàn)高質(zhì)量的課堂教學(xué)。

（五）探索高效教學(xué)模式根據(jù)高職人才培養(yǎng)目標(biāo)的要求，計(jì)算機(jī)課程的教學(xué)需要與時(shí)俱進(jìn)，隨著各行業(yè)大數(shù)據(jù)產(chǎn)業(yè)的不斷發(fā)展與應(yīng)用而不斷進(jìn)行調(diào)整、創(chuàng)新。通過對學(xué)生在校期間學(xué)習(xí)、生活的軌跡進(jìn)行搜集、整理，形成基礎(chǔ)數(shù)據(jù)，進(jìn)而分析他們的學(xué)習(xí)行為、學(xué)習(xí)喜好和思維模式，制定適合他們發(fā)展的教學(xué)方法，有針對性地培養(yǎng)和提高他們的計(jì)算機(jī)應(yīng)用能力。利用各種輔助軟件，開展行之有效的教學(xué)實(shí)踐活動(dòng)，讓學(xué)生在“做中學(xué)，學(xué)中做”。提高各專業(yè)學(xué)生的計(jì)算機(jī)應(yīng)用操作能力，使他們掌握互聯(lián)網(wǎng)技術(shù)、計(jì)算機(jī)信息技術(shù)、電子商務(wù)等。以醫(yī)學(xué)影像技術(shù)專業(yè)為例，學(xué)生既要學(xué)會(huì)影像閱片操作，又要掌握近期的X線機(jī)、CT、MRI等先進(jìn)檢查設(shè)備的使用與操作。如果能夠?qū)⑨t(yī)學(xué)影像技術(shù)專業(yè)與計(jì)算機(jī)應(yīng)用實(shí)踐教學(xué)相結(jié)合，找出兩者的學(xué)科交叉點(diǎn)，構(gòu)建適合時(shí)展需要的復(fù)合型人才培養(yǎng)模式，將會(huì)起到事半功倍的作用。在大數(shù)據(jù)的背景下，各行各業(yè)都需要利用信息技術(shù)，特別是數(shù)據(jù)庫技術(shù)、大數(shù)據(jù)分析技術(shù)，用以改變生產(chǎn)、經(jīng)營、管理、工作、生活等的方式。因此各專業(yè)的畢業(yè)生都面臨著行業(yè)對大數(shù)據(jù)的使用與開發(fā)的迫切需求。培養(yǎng)學(xué)生解決問題的實(shí)際操作能力，顯得尤為重要。在專業(yè)課程的教學(xué)中，通過對大數(shù)據(jù)的應(yīng)用與計(jì)算機(jī)應(yīng)用技術(shù)的滲透，不但能激發(fā)學(xué)生學(xué)習(xí)專業(yè)技能的積極性，而且可以引導(dǎo)學(xué)生形成應(yīng)用計(jì)算機(jī)解決專業(yè)問題的思維模式，對他們將來適應(yīng)大數(shù)據(jù)環(huán)境下工作具有積極的引導(dǎo)意義。以專業(yè)培養(yǎng)目標(biāo)為基礎(chǔ)，合理對計(jì)算機(jī)課程進(jìn)行設(shè)置與安排教學(xué)，將大數(shù)據(jù)知識、信息技術(shù)知識、計(jì)算機(jī)應(yīng)用知識融入到各課程的教學(xué)中，構(gòu)建適合高職類學(xué)生學(xué)習(xí)特點(diǎn)的高效教學(xué)模式。

（六）加強(qiáng)師資隊(duì)伍建設(shè)加強(qiáng)師資隊(duì)伍建設(shè)是提高學(xué)生計(jì)算機(jī)應(yīng)用能力的關(guān)鍵。計(jì)算機(jī)應(yīng)用基礎(chǔ)課程的教師，首先應(yīng)該是計(jì)算機(jī)應(yīng)用方面的專家，既能掌握扎實(shí)的理論基礎(chǔ)知識，又能熟練地操作計(jì)算機(jī)，善于使用相關(guān)行業(yè)軟件。在教學(xué)中能夠起到良好的操作示范作用，給予學(xué)生無形的感染力和號召力，增強(qiáng)學(xué)習(xí)的主動(dòng)性與積極性。在實(shí)踐教學(xué)過程中，計(jì)算機(jī)任課教師不僅要與專業(yè)課教師緊密合作，整合校內(nèi)已有的專業(yè)資源和信息技術(shù)資源，充分利用好大數(shù)據(jù)，而且要與行業(yè)、企業(yè)加強(qiáng)聯(lián)系，采取走出去、引進(jìn)來的方式，讓學(xué)生在校期間就能充分接觸各種面向?qū)嶋H應(yīng)用的信息技術(shù)產(chǎn)品與工具。學(xué)校要制定行之有效的師資隊(duì)伍培養(yǎng)計(jì)劃，緊密結(jié)合企業(yè)、行業(yè)的實(shí)際需求，建設(shè)“雙師型”教師隊(duì)伍，加強(qiáng)現(xiàn)代信息技術(shù)應(yīng)用能力培訓(xùn)。教師應(yīng)深入企業(yè)、行業(yè)，了解企業(yè)人才需求，了解企業(yè)使用的近期應(yīng)用軟件動(dòng)態(tài)與進(jìn)展，充分利用好企業(yè)、行業(yè)大數(shù)據(jù)資源的研究近期成果，更新知識結(jié)構(gòu)，提高實(shí)踐操作水平。

大數(shù)據(jù)時(shí)代是信息化社會(huì)發(fā)展的必然趨勢。高職院校在教學(xué)實(shí)踐中要跟隨時(shí)展的潮流，在教學(xué)思想、教育理念上做出迅速調(diào)整，并跟進(jìn)制定適合學(xué)生發(fā)展的計(jì)算機(jī)應(yīng)用能力培養(yǎng)實(shí)施方案，有效提高學(xué)生的計(jì)算機(jī)應(yīng)用能力，增強(qiáng)就業(yè)競爭優(yōu)勢，滿足行業(yè)、企業(yè)及社會(huì)對復(fù)合型職業(yè)技能人才的需要。

作者：馮橋華單位：安順職業(yè)技術(shù)學(xué)院招生與就業(yè)指導(dǎo)處

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)應(yīng)用物流企業(yè)論文

一、物流行業(yè)大數(shù)據(jù)的特點(diǎn)

物流行業(yè)的大數(shù)據(jù)，可以從多個(gè)維度進(jìn)行解構(gòu)：結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)（劉禹，2013；ElenaGeaninaUlaruetal.,2012）。物流行業(yè)的大數(shù)據(jù)既包括存儲(chǔ)在數(shù)據(jù)庫里的結(jié)構(gòu)化數(shù)據(jù)，也包括日志文件、XML文檔、JSON文檔和電子郵件等半結(jié)構(gòu)化數(shù)據(jù)，而更多的數(shù)據(jù)類型是辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等非結(jié)構(gòu)化數(shù)據(jù)，半機(jī)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)約占大數(shù)據(jù)總量75%-85%。內(nèi)部數(shù)據(jù)與外部數(shù)據(jù)。物流企業(yè)的大數(shù)據(jù)既有來自企業(yè)經(jīng)營的內(nèi)部交易數(shù)據(jù)、CRM數(shù)據(jù)，也有來自其他數(shù)據(jù)源的外部數(shù)據(jù)。物流企業(yè)的大數(shù)據(jù)兼具公共、私密二重屬性。外部數(shù)據(jù)的公共性特征比較明顯，而內(nèi)部數(shù)據(jù)由于和行業(yè)標(biāo)準(zhǔn)和商業(yè)機(jī)密密切相關(guān)，因而具有私密性。與數(shù)據(jù)結(jié)構(gòu)的多維特征相對應(yīng)，物流企業(yè)大數(shù)據(jù)的格式也是多樣的。除了傳統(tǒng)的紙質(zhì)文件、檔案、報(bào)表、表格、記錄、信函等之外，更多的是以數(shù)字?jǐn)?shù)據(jù)存在的Web文本、視頻、短信、音頻、視頻、郵件，存儲(chǔ)信息、配置文件、符號、圖片、檔案等。數(shù)據(jù)格式的多樣性和互不兼容、數(shù)據(jù)訪問的隨機(jī)性，為數(shù)據(jù)的采集、存儲(chǔ)、分析、應(yīng)用帶來了困難。

二、物流行業(yè)大數(shù)據(jù)的應(yīng)用特征

（一）大數(shù)據(jù)的應(yīng)用潛力巨大

在大數(shù)據(jù)概念興起之前，企業(yè)主要借助內(nèi)部數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)進(jìn)行決策。商業(yè)智能（BI）技術(shù)的應(yīng)用似乎將企業(yè)帶入了“智慧世界”，但BI仍然對外部數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)無能為力，沒有“走完一公里”，無法有效滿足決策需求。在大數(shù)據(jù)時(shí)代，企業(yè)的外部數(shù)據(jù)權(quán)重急劇上升，決策價(jià)值越來越突出，這意味著僅僅依據(jù)占數(shù)據(jù)總量15%左右的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行決策越來越失之偏頗（T.K.Dasetal.,2013），物流企業(yè)決策者駕馭業(yè)務(wù)的戰(zhàn)情數(shù)位儀表盤其實(shí)是殘缺的。事實(shí)上，一些沿襲原來的IT解決方案的物流企業(yè)，普遍遇到數(shù)據(jù)處理系統(tǒng)擴(kuò)展困難、處理時(shí)間長、傳輸效率低、成本過高的問題（ElenaGeaninaUlaruetal.,2012）。大數(shù)據(jù)應(yīng)用技術(shù)就是能夠妥善解決這些問題的性價(jià)比比較高的數(shù)據(jù)計(jì)算與存儲(chǔ)方式。據(jù)ICT研究機(jī)構(gòu)CCWRE-SEARCH的研究結(jié)論（2012年），無論是從信息技術(shù)應(yīng)用的契合度還是從短期內(nèi)投資大數(shù)據(jù)的可能性進(jìn)行測度，物流行業(yè)都具有大數(shù)據(jù)應(yīng)用技術(shù)推廣的優(yōu)越條件。但他們同時(shí)還指出，雖然物流行業(yè)對“大數(shù)據(jù)”概念的知曉率為91.8%，但究其應(yīng)用而言，總體上還處于“認(rèn)知”階段，這意味著大數(shù)據(jù)在物流行業(yè)應(yīng)有較大的應(yīng)用潛力。

（二）大數(shù)據(jù)的供應(yīng)鏈特征明顯

物流行業(yè)大數(shù)據(jù)的應(yīng)用正越來越呈現(xiàn)出供應(yīng)鏈特征。這個(gè)“數(shù)據(jù)供應(yīng)鏈”，存在著數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)價(jià)值提取、數(shù)據(jù)價(jià)值消費(fèi)等多個(gè)環(huán)節(jié)（HsinchunChenetal.,2012），參與者包括原始數(shù)據(jù)提供者、數(shù)據(jù)收集者、數(shù)據(jù)平臺商、數(shù)據(jù)應(yīng)用技術(shù)開發(fā)者、數(shù)據(jù)服務(wù)提供者、數(shù)據(jù)產(chǎn)業(yè)投資者，數(shù)據(jù)價(jià)值消費(fèi)者等多個(gè)主體。就物流企業(yè)而言，在這個(gè)數(shù)據(jù)供應(yīng)鏈中，可以承擔(dān)多重角色：既可以是原始數(shù)據(jù)供應(yīng)者（主要是內(nèi)部數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)），也可以是數(shù)據(jù)產(chǎn)業(yè)投資者、數(shù)據(jù)價(jià)值消費(fèi)者。實(shí)力雄厚者甚至可以向其他角色拓展，具有的數(shù)據(jù)供應(yīng)鏈整合能力的企業(yè)將會(huì)贏得較大競爭優(yōu)勢。圖1給出了物流行業(yè)數(shù)據(jù)供應(yīng)鏈的簡化模型，并借用MichaelPorter的五力分析模型對數(shù)據(jù)供應(yīng)鏈各個(gè)環(huán)節(jié)的競爭態(tài)勢進(jìn)行了分析。

三、大數(shù)據(jù)應(yīng)用對物流企業(yè)競爭力的影響

（一）大數(shù)據(jù)應(yīng)用影響物流企業(yè)競爭力的機(jī)制

圖2給出物流企業(yè)競爭力影響因素的分析框架（王海燕，2012；靜濤，2010）。物流企業(yè)的競爭力影響因素涵蓋環(huán)境、資源、能力三個(gè)方面，其中環(huán)境要素可以進(jìn)一步細(xì)化為：行業(yè)經(jīng)濟(jì)發(fā)展水平、宏觀調(diào)控、社會(huì)人文、物流技術(shù)等；資源要素可進(jìn)一步細(xì)化為物質(zhì)資源和無形資源等；能力要素可細(xì)化為戰(zhàn)略決策能力、運(yùn)營管理能力、市場營銷能力、品牌管理能力、創(chuàng)新發(fā)展能力等（張莉，2012）。這里以前文論述為基礎(chǔ)，分析大數(shù)據(jù)應(yīng)用對物流企業(yè)競爭力提升的影響機(jī)制，如圖3所示：大數(shù)據(jù)通過影響物流企業(yè)競爭力的環(huán)境、資源、能力三個(gè)要素，提升其競爭力，而物流企業(yè)競爭力的提升則表現(xiàn)為快速反應(yīng)、穩(wěn)定、靈活性和彈性提升，顧客滿意度提升，經(jīng)濟(jì)效益提高等等（ElenaGeaninaUlaruetal.,2012）。

（二）大數(shù)據(jù)應(yīng)用提升物流企業(yè)競爭力分析

在物流企業(yè)競爭力三個(gè)影響因素中，環(huán)境因素是外部、不可控要素，資源和能力屬于內(nèi)部要素、可控要素，因此，這里重點(diǎn)分析大數(shù)據(jù)在物流企業(yè)的應(yīng)用對兩個(gè)要素的影響及其表現(xiàn)。1.對資源要素的影響。大數(shù)據(jù)時(shí)代，數(shù)據(jù)被許多人士比作“新型石油”，日漸成為一種戰(zhàn)略性資源和企業(yè)的核心資產(chǎn)。大數(shù)據(jù)及其所承載的知識和信息作為一種具有戰(zhàn)略價(jià)值的經(jīng)濟(jì)資源，通過參與企業(yè)的經(jīng)濟(jì)活動(dòng)和營運(yùn)過程，正在充分地發(fā)揮其獨(dú)特的整合效應(yīng)，促進(jìn)物流企業(yè)提高組織效率、降低成本、創(chuàng)新服務(wù)、維系良好的品牌形象和客戶關(guān)系、增進(jìn)經(jīng)濟(jì)效益等。其作用機(jī)制如下：及時(shí)，盤活物流企業(yè)的人力資本。在大數(shù)據(jù)日益進(jìn)行著滲透性應(yīng)用的背景下，將推動(dòng)人力資源決策由“經(jīng)驗(yàn)+感覺”模式向“事實(shí)+數(shù)據(jù)”模式轉(zhuǎn)型，人才測評和任職匹配將更高效、更精準(zhǔn)；處于休眠狀態(tài)的企業(yè)內(nèi)部營運(yùn)數(shù)據(jù)將被喚醒，培訓(xùn)需求的甄別將更便利。過程數(shù)據(jù)和結(jié)果數(shù)據(jù)的空前豐富使得“過程+結(jié)果”的績效考核方式將更容易導(dǎo)入，對績效輔導(dǎo)和績效提升更有利。第二，直接增加物流企業(yè)的結(jié)構(gòu)資本。大數(shù)據(jù)應(yīng)用技術(shù)將推動(dòng)物流企業(yè)的組織結(jié)構(gòu)的進(jìn)一步優(yōu)化，與戰(zhàn)略的匹配度更高，組織內(nèi)外信息流動(dòng)更順暢，協(xié)調(diào)機(jī)制更完善，內(nèi)部溝通更“智慧”，資源管控和利用率水平更高，對市場機(jī)會(huì)和環(huán)境變化的動(dòng)態(tài)適應(yīng)能力更強(qiáng)。不僅如此，對物流企業(yè)信息技術(shù)的升級應(yīng)用、知識產(chǎn)權(quán)的保護(hù)、品牌推廣和商譽(yù)提升也將產(chǎn)生巨大影響。這些都會(huì)直接增加企業(yè)的結(jié)構(gòu)資本。第三，為企業(yè)贏得更多關(guān)系資本。在企業(yè)內(nèi)部溝通更舒暢、更外向的情況下，面向客戶的、創(chuàng)新型的共有價(jià)值觀更容易形成和維護(hù)，員工所期望的個(gè)性化關(guān)懷更容易實(shí)現(xiàn)，這將推動(dòng)物流企業(yè)的文化建設(shè)。同時(shí)，大數(shù)據(jù)的應(yīng)用還將推動(dòng)物流企業(yè)創(chuàng)新業(yè)務(wù)模式，主動(dòng)采用整合傳播，提升品牌美譽(yù)度，更好地開展公共關(guān)系。物流企業(yè)在推行個(gè)性化定制化服務(wù)、高效的商業(yè)伙伴和顧客關(guān)系管理會(huì)更主動(dòng)，這些都會(huì)為物流企業(yè)贏得關(guān)系資本。2.對能力要素的影響。及時(shí)，提升物流企業(yè)的戰(zhàn)略管理、戰(zhàn)略決策能力。大數(shù)據(jù)的應(yīng)用有利于企業(yè)推行數(shù)據(jù)驅(qū)動(dòng)的敏捷決策，從長遠(yuǎn)來看，還會(huì)推動(dòng)企業(yè)組織架構(gòu)和業(yè)務(wù)流程的變革，企業(yè)決策權(quán)力的配置將更合理，決策的制度化、流程化程度更高，決策更公開、透明、精準(zhǔn)、有效、可追溯。基于數(shù)據(jù)的決策有助于消弭主觀偏見和思維定勢的消極影響，提升企業(yè)的戰(zhàn)略洞察力，把握行業(yè)發(fā)展的新趨勢，抓住戰(zhàn)略性投資機(jī)會(huì)。在物流企業(yè)競爭力的變現(xiàn)越來越取決于供應(yīng)鏈的整體效能的背景之下，物流企業(yè)還可以在確保顧客隱私和商業(yè)機(jī)密的前提下，通過與供應(yīng)鏈上各合作伙伴的數(shù)據(jù)共享、交換或者交易，動(dòng)態(tài)檢測行業(yè)趨勢、聚焦優(yōu)先目標(biāo)、優(yōu)化服務(wù)組合、避免無端浪費(fèi)、探索全新的業(yè)務(wù)模式等。第二，增強(qiáng)物流企業(yè)的運(yùn)作管理能力。大數(shù)據(jù)的應(yīng)用可以提升企業(yè)業(yè)務(wù)營運(yùn)的可視化程度，推動(dòng)知識和信息在組織內(nèi)部的共享；掌控企業(yè)各項(xiàng)資源的運(yùn)行情況，比如人員的作業(yè)狀況，設(shè)備運(yùn)作狀況，車輛的位置、時(shí)間、速度、性能等，有利于企業(yè)高效調(diào)度各項(xiàng)資源，提升運(yùn)作效率。以快遞企業(yè)為例，大數(shù)據(jù)的應(yīng)用可以為企業(yè)滿足個(gè)性化訂單、開展定制化服務(wù)、實(shí)施彈性配送等提供技術(shù)支撐。它們可以在業(yè)務(wù)營運(yùn)的特殊時(shí)期，比如“雙11”到來之前，基于大數(shù)據(jù)的分析，適時(shí)調(diào)配物流資源，實(shí)現(xiàn)業(yè)務(wù)營運(yùn)的主動(dòng)性、前置性，提升配送運(yùn)作效率和顧客滿意度。第三，拓展物流企業(yè)的市場營銷能力。大數(shù)據(jù)應(yīng)用技術(shù)有助于提升市場研究的效率，有關(guān)顧客偏好、情緒、消費(fèi)體驗(yàn)等真實(shí)信息將更容易取得，有利于對目標(biāo)客戶的細(xì)分、重點(diǎn)客戶和高價(jià)值客戶高效篩選（徐藝欣，2013）。大數(shù)據(jù)所承載的有關(guān)資源、成本、服務(wù)、定價(jià)等即時(shí)性關(guān)鍵信息，有助于企業(yè)動(dòng)態(tài)監(jiān)測市場動(dòng)態(tài)，有效率開展競爭，更好地贏得客戶，增加市場份額。在物流服務(wù)營銷方面，可以實(shí)施針對高價(jià)值的顧客的精準(zhǔn)營銷、廣告的精準(zhǔn)投放、廣告或者促銷效果的精準(zhǔn)測定等（胡玉萍，2011）。大數(shù)據(jù)應(yīng)用技術(shù)還有利于物流企業(yè)擺脫繁雜的中間環(huán)節(jié)、傳統(tǒng)的營銷模塊式營銷組織的依賴，極大地降低營銷成本。第四，提升物流企業(yè)的品牌管理能力。物流企業(yè)可以有效利用大數(shù)據(jù)技術(shù)進(jìn)行輿情監(jiān)控、品牌健康度動(dòng)態(tài)監(jiān)測、品牌聲譽(yù)管理，高效監(jiān)控可能有損品牌形象和企業(yè)聲譽(yù)的負(fù)面信息，有效應(yīng)對惡意炒作或商業(yè)欺詐、從容地進(jìn)行危機(jī)管理（ChrisSnijdersetal.,2012）。另一方面，可以通過口碑營銷在較低成本的投入情況下擴(kuò)大品牌影響力。第五，增強(qiáng)物流企業(yè)顧客管理和客戶關(guān)系維護(hù)能力。企業(yè)可以根據(jù)大數(shù)據(jù)所承載的信息與顧客進(jìn)行深度溝通，改善顧客體驗(yàn)，取得他們對本企業(yè)、競爭對手物流服務(wù)的真實(shí)評價(jià)，有效應(yīng)對競爭壓力，提高快速響應(yīng)能力，培育顧客粘性和忠誠度，通過建立穩(wěn)定的忠實(shí)客戶群，實(shí)現(xiàn)客戶價(jià)值的鏈?zhǔn)椒磻?yīng)增值，支撐企業(yè)長期、穩(wěn)定、高速、可預(yù)期的發(fā)展。第六，增進(jìn)企業(yè)創(chuàng)新發(fā)展能力。大數(shù)據(jù)應(yīng)用有助于企業(yè)建立廣泛的外部合作伙伴網(wǎng)絡(luò)，推進(jìn)整體創(chuàng)新戰(zhàn)略，將問題的“搜索者”和“創(chuàng)意者”、“解決者”結(jié)合在一起，為合作創(chuàng)新機(jī)制的建立提供了動(dòng)力源泉（MerjaMahrtetal.,2013）。大數(shù)據(jù)的較大價(jià)值在于從海量數(shù)據(jù)中發(fā)現(xiàn)新知識，創(chuàng)造新價(jià)值，其中的重要體現(xiàn)就在于有助于推動(dòng)業(yè)務(wù)模式的創(chuàng)新，比如物流企業(yè)在條件成熟時(shí)就可以通過數(shù)據(jù)交易、數(shù)據(jù)應(yīng)用輔導(dǎo)等業(yè)務(wù)獲取經(jīng)濟(jì)利益、提升競爭優(yōu)勢。

四、物流企業(yè)推動(dòng)大數(shù)據(jù)應(yīng)用的思路

物流企業(yè)應(yīng)抓住大數(shù)據(jù)所帶來的機(jī)遇，主動(dòng)借力大數(shù)據(jù)提升企業(yè)競爭力（閆成印，2012）。本文推出涵蓋戰(zhàn)略（Strategy）、領(lǐng)導(dǎo)（Leadership）、流程（Process）、技能（Skill）、人員（Personnel）的（SLPSP）模式。戰(zhàn)略（S）：建立數(shù)據(jù)資產(chǎn)管理戰(zhàn)略，作為物流企業(yè)總體戰(zhàn)略的一部分，圍繞“資源管控”和“服務(wù)優(yōu)化”兩個(gè)基本命題，在企業(yè)整體戰(zhàn)略中要有大數(shù)據(jù)應(yīng)用的總體方案。這一方案既要著眼企業(yè)的實(shí)際情況，又要有長遠(yuǎn)的規(guī)劃，在軟件和硬件投入方面都要有指導(dǎo)性的日程表安排。在保障機(jī)制方面，還要通過有效的“頂層設(shè)計(jì)”打破組織壁壘，促進(jìn)數(shù)據(jù)資產(chǎn)的溝通、融合。領(lǐng)導(dǎo)（L）：大數(shù)據(jù)的應(yīng)用是“一把手”工程，領(lǐng)導(dǎo)的重視是成敗的關(guān)鍵。企業(yè)領(lǐng)導(dǎo)層應(yīng)主動(dòng)變革思維模式，進(jìn)行實(shí)質(zhì)性的資源投入支持大數(shù)據(jù)技術(shù)的深入應(yīng)用。摒棄那種僅僅用數(shù)據(jù)來粉飾決策、支撐既有觀點(diǎn)的做法，從戰(zhàn)略高度對數(shù)據(jù)資產(chǎn)的價(jià)值進(jìn)行再思考、再認(rèn)識，把大數(shù)據(jù)的應(yīng)用、云計(jì)算等作為戰(zhàn)略實(shí)施的有力推手，而不僅僅是將其視為傳統(tǒng)IT管理的一個(gè)方面。流程（P）：優(yōu)化數(shù)據(jù)資產(chǎn)管理和大數(shù)據(jù)應(yīng)用的流程。在數(shù)據(jù)的收集和處理方面，要做好整合，認(rèn)真發(fā)掘組織內(nèi)部的“休眠數(shù)據(jù)”并認(rèn)真評估其價(jià)值，同時(shí)要高度重視外部數(shù)據(jù)對企業(yè)的戰(zhàn)略價(jià)值，推動(dòng)企業(yè)內(nèi)部的數(shù)據(jù)處理系統(tǒng)與合作伙伴的相關(guān)系統(tǒng)的集成，實(shí)現(xiàn)順暢的數(shù)據(jù)交換和信息交流。在數(shù)據(jù)的存儲(chǔ)與處理方面，優(yōu)化企業(yè)的IT的服務(wù)器、存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備，引入能與硬件設(shè)施設(shè)備無縫對接、合乎大數(shù)據(jù)應(yīng)用需求的數(shù)據(jù)管理和分析軟件，必要時(shí)要借力基于開發(fā)架構(gòu)的、具有靈活的擴(kuò)展能力、性能的第三方平臺（姚堯，2013）。不斷深化大數(shù)據(jù)的應(yīng)用，實(shí)現(xiàn)人、機(jī)、系統(tǒng)等要素的有機(jī)化。技能（S）：促進(jìn)大數(shù)據(jù)應(yīng)用技術(shù)在組織內(nèi)的擴(kuò)散，并內(nèi)化為組織整體技能。推動(dòng)員工熟悉數(shù)據(jù)驅(qū)動(dòng)決策下的業(yè)務(wù)運(yùn)作，將數(shù)據(jù)應(yīng)用視為業(yè)務(wù)營運(yùn)的工具和助手。采取措施推動(dòng)員工數(shù)據(jù)應(yīng)用技能的持續(xù)進(jìn)步，促進(jìn)企業(yè)決策者、管理者、業(yè)務(wù)人員和數(shù)據(jù)工程師基于數(shù)據(jù)分析和數(shù)據(jù)應(yīng)用的溝通、共享、協(xié)同，消除“數(shù)據(jù)孤島”現(xiàn)象。人員（P）：有計(jì)劃地培養(yǎng)大數(shù)據(jù)應(yīng)用的專業(yè)人員。這些專業(yè)人士應(yīng)成為“數(shù)據(jù)工程師”，兼具數(shù)學(xué)知識、IT技能、業(yè)務(wù)知識，并能夠作為大數(shù)據(jù)應(yīng)用的“先鋒”，引領(lǐng)企業(yè)跨越“數(shù)據(jù)鴻溝”，并能提供專業(yè)的數(shù)據(jù)應(yīng)用技術(shù)服務(wù)。

作者：魏繼華單位：河南交通職業(yè)技術(shù)學(xué)院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)應(yīng)用技術(shù)和潛在問題研究

大數(shù)據(jù)應(yīng)用的技術(shù)體系

1.云計(jì)算及其編程模型MapReduce

1)云計(jì)算簡述:大約從2007年下半年開始,云計(jì)算由于其能提供靈活動(dòng)態(tài)的IT平臺,服務(wù)質(zhì)量保障的計(jì)算環(huán)境以及可配置的軟件服務(wù)而成為熱門話題。文獻(xiàn)中給出了云計(jì)算的比較完整的定義:云計(jì)算一個(gè)大規(guī)模的由規(guī)模經(jīng)濟(jì)驅(qū)動(dòng)的分布式模型,位于其中的抽象的、虛擬的、動(dòng)態(tài)可擴(kuò)展的、可管理的計(jì)算能源、存儲(chǔ)、平臺、服務(wù)等通過因特網(wǎng)交付給外圍客戶。由上述云計(jì)算的定義我們知道,云計(jì)算首先得是大規(guī)模的、分布式的,少量的計(jì)算處理用不著云計(jì)算;其次,它是跟規(guī)模經(jīng)濟(jì)相關(guān)聯(lián)的,比較形象的說法是,云計(jì)算資源跟“電”和“水”一樣,是按需收費(fèi)的,并且是大規(guī)模式銷售的,通常在建立數(shù)據(jù)中心時(shí)會(huì)考慮成本因素;,它從廣義上說是給客戶的一種服務(wù),可以包括提供存儲(chǔ)、計(jì)算等資源。云計(jì)算可以按服務(wù)的內(nèi)容和交付形式分為基礎(chǔ)設(shè)施即服務(wù)(IaaS)、平臺即服務(wù)(PaaS)、軟件即服務(wù)(SaaS)等。在單機(jī)芯片集成度已進(jìn)入極小尺度級別,指令級并行度提升也已接近極限的今天,縱向擴(kuò)展似乎已經(jīng)不夠現(xiàn)實(shí),這也遠(yuǎn)遠(yuǎn)不能滿足大數(shù)據(jù)處理的要求,而云計(jì)算的要求比較寬松的允許異構(gòu)網(wǎng)絡(luò)的橫向擴(kuò)展,無疑給大數(shù)據(jù)處理帶來了方便。云計(jì)算能為大數(shù)據(jù)提供強(qiáng)大的存儲(chǔ)和計(jì)算能力,可以迅速、方便地為大數(shù)據(jù)提供服務(wù),另一方面,大數(shù)據(jù)的處理需求也為云計(jì)算提供了更多更好地應(yīng)用場景。由此,云計(jì)算作為大數(shù)據(jù)的支撐技術(shù)而倍受業(yè)界關(guān)注。

2)MapReduce簡述:關(guān)系數(shù)據(jù)庫作為一門發(fā)展了近40年的主流數(shù)據(jù)管理技術(shù),主要用于聯(lián)機(jī)事務(wù)處理(OLTP)應(yīng)用、聯(lián)機(jī)分析處理(OLAP)應(yīng)用和數(shù)據(jù)倉庫等,然而擴(kuò)展性方面的局限使得其在大數(shù)據(jù)時(shí)代遇到了極大障礙。2004年,谷歌公司提出的MapReduce技術(shù),以其利用大規(guī)模廉價(jià)服務(wù)器以達(dá)到并行處理大數(shù)據(jù)的目的而倍受學(xué)術(shù)界和工業(yè)界的關(guān)注,廣泛應(yīng)用于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等諸多領(lǐng)域?；贛apReduce的大數(shù)據(jù)分析處理研究也在不斷深入,MapReduce作為一種非關(guān)系數(shù)據(jù)庫的數(shù)據(jù)管理工具代表,克服了關(guān)系數(shù)據(jù)庫擴(kuò)展性方面的不足,將計(jì)算推向數(shù)據(jù)也迎合了大數(shù)據(jù)時(shí)代的內(nèi)在需要,成為大數(shù)據(jù)處理的基本工具。而Hadoop作為模仿MapReduce而實(shí)現(xiàn)的一個(gè)云計(jì)算開源平臺,目前已成為最為流行的大數(shù)據(jù)處理平臺。MapReduce對于大數(shù)據(jù)處理的基本構(gòu)思是分而治之,將大數(shù)據(jù)任務(wù)分解為多個(gè)子任務(wù),將得到的各個(gè)子結(jié)果組合并成為最終結(jié)果。MapReduce對大數(shù)據(jù)的處理可抽象為兩個(gè)主要階段,Map階段對初始的鍵-值(Key/Value)對進(jìn)行處理,產(chǎn)生一系列的中間結(jié)果Key/Value對,然后通過Reduce階段合并所有具有相同Key值的Key/Value對,得到最終結(jié)果。MapReduce對數(shù)據(jù)進(jìn)行處理的應(yīng)用思路如圖2所示。

2.大數(shù)據(jù)獲取技術(shù)

每天都有大量數(shù)據(jù)產(chǎn)生,并且這些數(shù)據(jù)通過不同的途徑,以不同的形式被接收和記錄。本節(jié)將簡單介紹幾種常見的大數(shù)據(jù)獲取途徑。

(1)傳感器技術(shù):近年來,傳感器技術(shù)蓬勃發(fā)展,無論是道路交通方面,還是醫(yī)療機(jī)構(gòu)方面甚至是個(gè)人工作和生活場所,傳感器無處不在,大量的數(shù)據(jù)源源不斷地被傳感器所接收?？梢哉f,傳感器的迅速普及,為大數(shù)據(jù)的獲取提供了有力地保障。傳感器技術(shù)的快速發(fā)展,也促進(jìn)了傳感器網(wǎng)絡(luò)的逐步完善。由于構(gòu)建傳感器網(wǎng)絡(luò)的設(shè)備、數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)等方面的差異性,網(wǎng)絡(luò)孤島普遍存在,如何解決異構(gòu)網(wǎng)絡(luò)所帶來的數(shù)據(jù)共享問題一度成為研究者們面臨的極大挑戰(zhàn)。不過隨后美國國家技術(shù)標(biāo)準(zhǔn)局(NIST)和IEEE共同組織了關(guān)于制訂智能傳感器接口和連接網(wǎng)絡(luò)通用標(biāo)準(zhǔn)的研討會(huì),產(chǎn)生了IEEE1451傳感器/執(zhí)行器、智能變送器接口標(biāo)準(zhǔn)協(xié)議族,試圖解決傳感器市場上總線不兼容的問題。2005年,開放地理空間聯(lián)盟(OGC)提出了一種新型的傳感器Web整合框架標(biāo)準(zhǔn),讓用戶能透過Web的界面來進(jìn)行節(jié)點(diǎn)搜尋、數(shù)據(jù)獲取及節(jié)點(diǎn)控制功能。文獻(xiàn)[12]對無線傳感器網(wǎng)路的路由協(xié)議進(jìn)行了研究,指出多路徑路由發(fā)展的趨勢和挑戰(zhàn),而文獻(xiàn)[13]則從生物學(xué)、商業(yè)、環(huán)境、醫(yī)療、工業(yè)以及軍事等領(lǐng)域探討無線傳感器的重要用途。

(2)Web2.0技術(shù):“Web2.0”的概念2004年始于出版社經(jīng)營者O'Reilly和MediaLiveInternational之間的一場頭腦風(fēng)暴論壇,所謂的Web2.0是指互聯(lián)網(wǎng)上的每一個(gè)用戶的身份由單純的“讀者”進(jìn)化為了“作者”以及“共同建設(shè)人員”,由被動(dòng)地接收互聯(lián)網(wǎng)信息向主動(dòng)創(chuàng)造互聯(lián)網(wǎng)信息發(fā)展。Web2.0伴隨著博客、百科全書以及社交網(wǎng)絡(luò)等多種應(yīng)用技術(shù)的發(fā)展,大量的網(wǎng)頁點(diǎn)擊與交流促使了大數(shù)據(jù)的形成,給人類日常生活方式帶來了極大的變革。

(3)條形碼技術(shù):條形碼的使用給零售業(yè)帶來了革命性的改變,通過內(nèi)嵌ID等信息,條形碼在被掃描之后,快速在數(shù)據(jù)庫中進(jìn)行ID匹配,便很快就獲知該產(chǎn)品的價(jià)格、性能、產(chǎn)商等具體信息,條形碼被廣泛應(yīng)用于零售商店的收銀以及車站售票等業(yè)務(wù)中,每天大量的商品銷售記錄通過掃描條形碼而產(chǎn)生。近年來的智能手機(jī)的盛行,手機(jī)應(yīng)用如微信中的二維條形碼也隨處可見,文獻(xiàn)[14]中設(shè)計(jì)了一種應(yīng)用于手機(jī)應(yīng)用的彩色二維條形碼,改善了用戶對應(yīng)用程序的感受。

(4)RFID技術(shù):RFID與條形碼相比,擴(kuò)展了操作距離,且標(biāo)簽的使用比條形碼容易,攜帶一個(gè)可移動(dòng)的閱讀器便可收集到標(biāo)簽的信息,被廣泛應(yīng)用于倉庫管理和清單控制方面。RFID標(biāo)簽可以分為兩類,一類是被動(dòng)的,如今被廣泛使用,其造價(jià)便宜,但是沒有內(nèi)部電源,依靠閱讀器的射頻波產(chǎn)生能量,操作距離也很近,因而其適用性也受到了制約;另一類是主動(dòng)的,其擁有內(nèi)部電源,因此造價(jià)較貴,但是操作距離遠(yuǎn),存儲(chǔ)能力強(qiáng),因而適用范圍廣,在未來這種標(biāo)簽會(huì)受到普遍歡迎的。學(xué)術(shù)界在RFID技術(shù)的研究上已經(jīng)取得巨大的進(jìn)步。較早的工作重心大多集中在對標(biāo)簽進(jìn)行搜集的問題上,即盡可能快地在大量標(biāo)簽中搜集他們的ID,而這方面較大的挑戰(zhàn)是解決多標(biāo)簽同時(shí)競爭較窄的信道引起沖突的問題。研究者們提出了兩類解決思路,即基于ALOHA的協(xié)議[15-17]和基于樹的協(xié)議[18-20]。而其他的工作專注于標(biāo)簽評估問題,即使用統(tǒng)計(jì)學(xué)的方法來評估一個(gè)龐大系統(tǒng)中的標(biāo)簽數(shù)目[21-23]?？傊?RFID由于具有操作范圍廣泛、性能穩(wěn)定以及高存儲(chǔ)能力等特性,在工業(yè)界中將具有巨大的潛力。

(5)移動(dòng)終端技術(shù):隨著科學(xué)技術(shù)的發(fā)展,移動(dòng)終端諸如手機(jī)、筆記本、平板電腦等隨處可見,加上網(wǎng)絡(luò)的寬帶化發(fā)展以及集成電路的升級,人類已經(jīng)步入了真正的移動(dòng)信息時(shí)代。如今的移動(dòng)終端已經(jīng)擁有極強(qiáng)的處理能力,通信、定位以及掃描功能應(yīng)有盡有,大量的移動(dòng)軟件程序被開發(fā)并應(yīng)用,人們無時(shí)無刻不在接收和發(fā)送信息。目前,智能手機(jī)等移動(dòng)設(shè)備的數(shù)量仍然在迅猛增長中,移動(dòng)社交網(wǎng)絡(luò)也會(huì)日益龐大和復(fù)雜,海量的數(shù)據(jù)穿梭其中,針對移動(dòng)數(shù)據(jù)的處理也將越來越復(fù)雜。

3.文件系統(tǒng)

文件系統(tǒng)是支撐上層應(yīng)用的基礎(chǔ),本小節(jié)將簡要介紹面向大數(shù)據(jù)處理的文件系統(tǒng)如谷歌分布式文件系統(tǒng)(GFS),以及一些其他的分布式文件系統(tǒng)。

1)分布式文件系統(tǒng)GFS:谷歌自行開發(fā)的文件系統(tǒng)GFS[24],是一個(gè)基于分布式集群的大型的分布式文件系統(tǒng),它為MapReduce計(jì)算框架提供底層數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)性。GFS采用廉價(jià)普通磁盤,并把磁盤數(shù)據(jù)出錯(cuò)視為常態(tài),其自動(dòng)多數(shù)據(jù)備份存儲(chǔ)也增加了性。GFS基本構(gòu)架中,GFSMaster保存了GFS文件系統(tǒng)的3種元數(shù)據(jù):命名空間、Chunk與文件名的映射表、Chunk副本的位置信息,前兩個(gè)數(shù)據(jù)通過，！操作日志提供容錯(cuò)處理能力,第3個(gè)數(shù)據(jù)存儲(chǔ)在ChunkServer上,可在Master失效時(shí)快速恢復(fù)Master上的元數(shù)據(jù);GFSChunkServer是用來保存大量實(shí)際數(shù)據(jù)的數(shù)據(jù)服務(wù)器。GFS基本工作過程如下:(1)在程序運(yùn)行前,數(shù)據(jù)已經(jīng)存儲(chǔ)在GFS文件系統(tǒng)中,程序執(zhí)行時(shí)應(yīng)用程序會(huì)告訴GFSServer所要訪問的文件名或者數(shù)據(jù)塊索引是什么。(2)GFSServer根據(jù)文件名和數(shù)據(jù)塊索引在其文件目錄空間中查找和定位該文件或數(shù)據(jù)塊,并將這些位置信息回送給應(yīng)用程序。(3)應(yīng)用程序根據(jù)GFSServer返回的具體Chunk數(shù)據(jù)塊位置信息,直接訪問相應(yīng)的ChunkServer。(4)應(yīng)用程序直接讀取指定位置的數(shù)據(jù)進(jìn)行計(jì)算處理。后來谷歌對GFS進(jìn)行了改進(jìn),并對新版本命名為Colosuss,主要對原有的單點(diǎn)故障、海量小文件存儲(chǔ)等諸多問題進(jìn)行了修正和改進(jìn),使得系統(tǒng)更加安全和健壯。

2)其他文件系統(tǒng):除了谷歌的GFS,業(yè)界其他針對大數(shù)據(jù)存儲(chǔ)需求的文件系統(tǒng)也層出不窮。Hadoop的文件系統(tǒng)HDFS[25]作為模仿GFS的開源實(shí)現(xiàn),同樣也為Hadoop的底層數(shù)據(jù)存儲(chǔ)支撐,提供數(shù)據(jù)的高性和容錯(cuò)能力,擁有良好的擴(kuò)展性和高速數(shù)據(jù)訪問性;SUN公司開發(fā)的Lustre[26]是一個(gè)大規(guī)模的、安全的、具備高可用性的開源集群文件系統(tǒng),美國能源部在此基礎(chǔ)上實(shí)現(xiàn)了新一代的集群系統(tǒng),顯著提高了輸入輸出速度,已在高校、國家實(shí)驗(yàn)室和超級計(jì)算研究中心產(chǎn)生了深遠(yuǎn)影響;Facebook推出的針對海量小文件的文件系統(tǒng)Haystack[27]有效地解決了海量圖片存儲(chǔ)問題,它實(shí)現(xiàn)多個(gè)邏輯文件共享一個(gè)物理文件功能,并且增加緩存層,部分元數(shù)據(jù)直接被加載到了內(nèi)存。

4.數(shù)據(jù)庫系統(tǒng)

1)上在索引、數(shù)據(jù)壓縮、可視化等技術(shù)方面的不斷擴(kuò)展,使其具有了高性能的優(yōu)勢。但是諸多因素導(dǎo)致了其擴(kuò)展性面臨嚴(yán)峻的挑戰(zhàn),主要體現(xiàn)在:(1)單機(jī)方面,并行數(shù)據(jù)庫基于高端硬件設(shè)計(jì),認(rèn)為查詢失敗是特例且糾錯(cuò)復(fù)雜,不符合大規(guī)模集群失效常態(tài)的特性;(2)集群方面,并行數(shù)據(jù)庫對異構(gòu)網(wǎng)絡(luò)支持有限,各節(jié)點(diǎn)性能不均,容易引起“木桶效應(yīng)”?？傊?并行數(shù)據(jù)庫的擴(kuò)展性方面的缺陷使其面臨大數(shù)據(jù)的處理往往力不從心。

2)MapReduce分布式數(shù)據(jù)庫BigTable:由前述知,并行數(shù)據(jù)庫由于擴(kuò)展性方面的缺陷無法勝任大數(shù)據(jù)的處理工作,以谷歌公司推出的BigTable為代表的未采用關(guān)系模型的NoSQL(NotonlySQL)數(shù)據(jù)庫由此誕生,NoSQL數(shù)據(jù)庫具有模式自由、簡易備份、接口簡單和支持海量數(shù)據(jù)等特性,對于大數(shù)據(jù)的存儲(chǔ)和處理十分有效。谷歌在GFS之上又設(shè)計(jì)了MapReduce的分布式數(shù)據(jù)庫BigTable[28],為應(yīng)用程序提供了比單純地文件系統(tǒng)更方便、更高層的數(shù)據(jù)操作能力,BigTable提供了一定粒度的結(jié)構(gòu)化數(shù)據(jù)操作能力,主要解決一些大型媒體數(shù)據(jù)(Web文檔、圖片等)的結(jié)構(gòu)化存儲(chǔ)問題。BigTable主要是一個(gè)分布式多維表,表中數(shù)據(jù)通過行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳來進(jìn)行索引和查詢定位,并且BigTable對存儲(chǔ)在表中的數(shù)據(jù)不做任何解釋,一律視為字串,具體數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)由用戶自行定義。BigTable的基本構(gòu)架如圖3所示,BigTable中的數(shù)據(jù)均以子表形式保存在子表服務(wù)器上,最終以GFS文件形式存儲(chǔ)在GFS文件系統(tǒng)中。客戶端程序直接和子表服務(wù)器通信,Chubby服務(wù)器完成對子表服務(wù)器的狀態(tài)監(jiān)控,主服務(wù)器通過查看Chubby服務(wù)器目錄來終止出現(xiàn)故障的子服務(wù)器并將其數(shù)據(jù)轉(zhuǎn)移至其他子服務(wù)器。另外,主服務(wù)器還完成子表的創(chuàng)建和負(fù)載均衡等操作。當(dāng)然,由于MapReduce將本來應(yīng)由數(shù)據(jù)庫管理系統(tǒng)完成的諸如文件存儲(chǔ)格式的設(shè)計(jì)、模式信息的記錄、數(shù)據(jù)處理算法的實(shí)現(xiàn)等工作轉(zhuǎn)移給了程序員,從而導(dǎo)致程序員負(fù)擔(dān)過重。另外,MapReduce是面向非結(jié)構(gòu)化的大規(guī)模數(shù)據(jù)處理的,往往是一次處理,因而同等硬件條件下的性能也比并行數(shù)據(jù)庫低[29]。

3)數(shù)據(jù)庫的深層探討:并行數(shù)據(jù)庫具有高性能的優(yōu)勢,但擴(kuò)展性問題阻礙了其在大數(shù)據(jù)處理上的進(jìn)一步發(fā)展,而MapReduce性能和易用性上提升空間較大,因此目前兩種方案均不理想。業(yè)界經(jīng)過長時(shí)間的探討,基本一致認(rèn)為并行數(shù)據(jù)庫和MapReduce各取其長,相互融合,也許是一種不錯(cuò)的道路[30]。由此誕生了并行數(shù)據(jù)庫主導(dǎo)型、MapReduce主導(dǎo)型以及并行數(shù)據(jù)庫與MapReduce集成型3類大數(shù)據(jù)處理數(shù)據(jù)庫。

(1)并行數(shù)據(jù)庫主導(dǎo):型這類數(shù)據(jù)庫的基本思路是在并行數(shù)據(jù)庫上增加MapReduce的大數(shù)據(jù)處理能力,將數(shù)據(jù)分析過程轉(zhuǎn)移到數(shù)據(jù)庫內(nèi)進(jìn)行,使得原系統(tǒng)同時(shí)獲得SQL的易用性與MapReduce的開放性。但是,并行數(shù)據(jù)庫的擴(kuò)展能力與容錯(cuò)能力并未得到改善,典型的系統(tǒng)如Greenplum[31]、Asterdata[32]等。

(2)MapReduce主導(dǎo)型:這類數(shù)據(jù)庫的基本思路是利用關(guān)系數(shù)據(jù)庫的SQL接口和模式支持技術(shù)改善MapReduce的易用性。通過SQL接口,可以很簡便的完成查詢分析等操作,大大減輕了程序員的負(fù)擔(dān),但MapReduce的性能方面仍有待提升,典型的系統(tǒng)如Facebook的Hive[33]和Yahoo!的PigLatin[34]等。

(3)并行數(shù)據(jù)庫與MapReduce集成型:這類數(shù)據(jù)庫兼顧并行數(shù)據(jù)庫與MapReduce的長處,主要分兩種思路:按功能將并行數(shù)據(jù)庫與MapReduce分別設(shè)計(jì)到相應(yīng)的部位以形成一個(gè)完整系統(tǒng),以及整合并行數(shù)據(jù)庫和MapReduce這兩套完整的系統(tǒng)以構(gòu)成一個(gè)混合系統(tǒng)。及時(shí)種思路典型代表是耶魯大學(xué)提出的HadoopDB[35],它將Hadoop作為調(diào)度層和網(wǎng)絡(luò)溝通層,關(guān)系數(shù)據(jù)庫作為執(zhí)行引擎,盡可能地將查詢壓入數(shù)據(jù)庫層處理,Hadoop框架的應(yīng)用可以獲得較好的容錯(cuò)性和對異構(gòu)環(huán)境的支持,庫內(nèi)數(shù)據(jù)查詢的使用則可獲得關(guān)系數(shù)據(jù)庫的高性能優(yōu)勢。第二種思路的代表是Vertica數(shù)據(jù)庫[36],它擁有兩套獨(dú)立完整的系統(tǒng),Hadoop負(fù)責(zé)非結(jié)構(gòu)化數(shù)據(jù)和耗時(shí)的批量復(fù)雜數(shù)據(jù)的處理,Vertica負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)的處理以及高性能的交互式查詢。當(dāng)然,這些思路仍非理想的方案,例如,HadoopDB喪失了MapReduce較低的預(yù)處理和維護(hù)代價(jià)等,Vertica則依舊存在Vertica擴(kuò)展性問題和Hadoop的性能問題。因此,在大數(shù)據(jù)面前,數(shù)據(jù)庫系統(tǒng)的研究還有很長的路要走,我們在 總結(jié)傳統(tǒng)的數(shù)據(jù)庫經(jīng)驗(yàn)的同時(shí),還要積極了解新興的數(shù)據(jù)庫系統(tǒng),才能更好地促進(jìn)適應(yīng)現(xiàn)今大數(shù)據(jù)發(fā)展的優(yōu)良數(shù)據(jù)庫的面世。

5.大數(shù)據(jù)分析技術(shù)

用于大數(shù)據(jù)集的分析方法很多,包括統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等各個(gè)領(lǐng)域的技術(shù)。本小節(jié)將簡要介紹其中幾種典型的大數(shù)據(jù)分析技術(shù),當(dāng)然,這些技術(shù)同樣適用于少量數(shù)據(jù)集的分析,但大數(shù)據(jù)集環(huán)境下的應(yīng)用無疑會(huì)發(fā)揮更加明顯的作用。

(1)A/B測試:傳統(tǒng)的A/B測試,是一種把各組變量隨機(jī)分配到特定的單變量處理水平,把一個(gè)或多個(gè)測試組的表現(xiàn)與控制組相比較,進(jìn)行測試的方式?，F(xiàn)在的A/B測試主要用于在Web分析方面,例如通過對比統(tǒng)計(jì)新舊網(wǎng)頁的用戶轉(zhuǎn)化率,來掌握兩種設(shè)計(jì)的優(yōu)劣等。大數(shù)據(jù)時(shí)代的到來為大規(guī)模的測試提供了便利,提高了A/B測試的性。由于移動(dòng)設(shè)備及技術(shù)的迅猛發(fā)展,移動(dòng)分析也逐漸成為A/B測試增長最快的一個(gè)領(lǐng)域。

(2)聚類分析聚類分析:

指將物理或抽象的集合分組成為由類似的對象組成的多個(gè)類的分析過程。聚類分析是一種探索性的數(shù)據(jù)挖掘分析方法,不需事先給出劃分的類的具體情況,主要用在商業(yè)、生物學(xué)、因特網(wǎng)等多個(gè)領(lǐng)域中。對于大數(shù)據(jù)的分析處理,通過聚類可以簡化后續(xù)處理過程,并且可以發(fā)現(xiàn)其中隱藏的某些規(guī)則,充分發(fā)揮了大數(shù)據(jù)的作用。

(3)集成學(xué)習(xí):集成學(xué)習(xí)指的是使用一系列“學(xué)習(xí)器”進(jìn)行學(xué)習(xí),并使用某種規(guī)則把各學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個(gè)“學(xué)習(xí)器”更好的學(xué)習(xí)效果的一種機(jī)器學(xué)習(xí)方法。對于大數(shù)據(jù)的集成學(xué)習(xí),可以更好地提煉和把握其中的本質(zhì)屬性。

(4)神經(jīng)網(wǎng)絡(luò):神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征,進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型,它依靠系統(tǒng)的復(fù)雜程度,通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系,來達(dá)到處理信息的目的。神經(jīng)網(wǎng)絡(luò)作為一門新興的交叉學(xué)科,是人類智能研究的重要組成部分,已成為腦科學(xué)、神經(jīng)科學(xué)、認(rèn)知科學(xué)、心理學(xué)等共同關(guān)注的焦點(diǎn)。神經(jīng)網(wǎng)絡(luò)對于大數(shù)據(jù)的并行處理,無疑也是一種比較可行的方式。

(5)自然語言處理:自然語言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向,它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法。人與計(jì)算機(jī)的通信交流往往存在很多歧義,如何消除這些歧義,將帶有潛在歧義的自然語言輸入轉(zhuǎn)換成某種無歧義的計(jì)算機(jī)內(nèi)部表示,是自然語言處理的主要問題。大數(shù)據(jù)時(shí)代意味著有大量的知識和推理來完成消除歧義現(xiàn)象的可能,這也給自然語言處理帶來了新的挑戰(zhàn)和機(jī)遇。大數(shù)據(jù)分析技術(shù)還有很多,例如模式識別、空間分析、遺傳算法等等,并且研究者們還在不斷地尋找新的更有效地分析方法,另外通過結(jié)合多個(gè)方法來實(shí)現(xiàn)數(shù)據(jù)分析往往也能達(dá)到非常明顯的效果。

6.大數(shù)據(jù)的可視化

面對海量的數(shù)據(jù),如何將其清晰明朗地展現(xiàn)給用戶是大數(shù)據(jù)處理所面臨的巨大挑戰(zhàn)。無論是學(xué)術(shù)界還是工業(yè)界,對大數(shù)據(jù)進(jìn)行可視化的研究從未停止。通過將大數(shù)據(jù)圖形化、圖像化以及動(dòng)畫化等展示出來的技術(shù)和方法不斷出現(xiàn),本節(jié)將介紹幾種典型的案例。

(1)宇宙星球圖:俄羅斯工程師RuslanEnikeev根據(jù)2011年底的互聯(lián)網(wǎng)數(shù)據(jù),將196個(gè)國家的35萬個(gè)網(wǎng)站數(shù)據(jù)整合起來,并根據(jù)200多萬個(gè)網(wǎng)站鏈接將這些“星球”通過“關(guān)系鏈”聯(lián)系起來組成了因特網(wǎng)的“宇宙星球圖”[37]。不同顏色代表不同的國家,每個(gè)“星球”的大小根據(jù)其網(wǎng)站流量來決定,而“星球”距離遠(yuǎn)近根據(jù)鏈接出現(xiàn)的頻率、強(qiáng)度等決定。類似地,對于具有復(fù)雜結(jié)構(gòu)的社交網(wǎng)絡(luò),“宇宙星球圖”同樣也十分適用,可以根據(jù)個(gè)人的知名度、人與人之間的聯(lián)系等進(jìn)行繪畫星球圖。

(2)標(biāo)簽云:“標(biāo)簽云”的設(shè)計(jì)思路主要是,對于不同的對象用標(biāo)簽來表示,標(biāo)簽的排列順序一般依照字典排序,按照熱門程度確定字體的大小和顏色。例如對于某個(gè)文檔,出現(xiàn)頻度越高的單詞將會(huì)越大,反之越小。這樣,便可以根據(jù)字母表順序和字體的大小來對各單詞的具體情況一目了然。文獻(xiàn)[38]通過將地圖上的各個(gè)物理位置根據(jù)描述的具體程度用“標(biāo)簽云”表示,使得用戶對各個(gè)場所的知名程度有個(gè)清晰的認(rèn)識。

(3)歷史流圖:文獻(xiàn)[39]提出了一種用于可視化文檔編輯歷史的“歷史流圖”,對于一個(gè)面向大眾的開放文檔,編輯和查閱都是自由的,用戶可以隨時(shí)自由的對文檔進(jìn)行增加或刪除操作?！皻v史流圖”中,橫坐標(biāo)軸表示時(shí)間,縱坐標(biāo)軸表示作者,不同作者的不同內(nèi)容對應(yīng)中間部分不同顏色和長度,隨著時(shí)間的推移,文檔的內(nèi)容不斷變化,作者也在不斷增加中。通過對“歷史流圖”的觀察,很容易看出各人對該文檔的貢獻(xiàn),當(dāng)然,除了發(fā)現(xiàn)有人對文檔給出有益的編輯外,也存在著一些破壞文檔、刪除內(nèi)容的人,但總有逐漸被修復(fù)回去的規(guī)律。像維基百科等的詞條注釋文檔,“歷史流圖”的可視化效果十分明顯。關(guān)于大數(shù)據(jù)可視化的方面努力還有很多,不同的“源數(shù)據(jù)”有不同的可視化策略,大數(shù)據(jù)可視化的研究工！作仍有待進(jìn)行下去。

大數(shù)據(jù)應(yīng)用所面臨的問題

大數(shù)據(jù)時(shí)代面臨的首要問題是人力和財(cái)力問題,IDC分析稱,大數(shù)據(jù)相關(guān)人才的欠缺將會(huì)成為影響大數(shù)據(jù)市場發(fā)展的一個(gè)重要因素。據(jù)調(diào)查,僅美國就缺少大約14萬到19萬的具有深層次數(shù)據(jù)分析技巧的專業(yè)技術(shù)人員以及150萬針對大數(shù)據(jù)的經(jīng)理人。據(jù)阿里巴巴稱,雖然其各類業(yè)務(wù)產(chǎn)生的數(shù)據(jù)為數(shù)據(jù)分析創(chuàng)造了非常好的基礎(chǔ)條件,然而卻招聘不到合適的數(shù)據(jù)科學(xué)家而影響了研發(fā)進(jìn)展。高德納公司預(yù)測,到2015年,全球?qū)⑿略?40萬個(gè)與大數(shù)據(jù)相關(guān)的工作崗位,且會(huì)有25%的組織設(shè)立首席數(shù)據(jù)官職位。其中有190萬個(gè)工作崗位將在美國,每一個(gè)與大數(shù)據(jù)有關(guān)的IT工作,都將在技術(shù)行業(yè)外部再建3個(gè)工作崗位,這將在美國再創(chuàng)建將近600萬個(gè)工作崗位。數(shù)據(jù)科學(xué)家是復(fù)合型人才,是對數(shù)學(xué)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等多方面知識的綜合掌控,能對數(shù)據(jù)做出預(yù)測性的、有價(jià)值的分析。因此,各國對大數(shù)據(jù)人才的培養(yǎng)工作應(yīng)當(dāng)快速有效地著手執(zhí)行。大數(shù)據(jù)的接收和管理也需要大量的基礎(chǔ)設(shè)施和能源,無論是傳感器還是數(shù)據(jù)中心的服務(wù)器,都需要大量的硬件投入和能源消耗,這也就意味著大數(shù)據(jù)處理的財(cái)力需求極為可觀。如何處理好大數(shù)據(jù)產(chǎn)生的資金投入比例,也成為了各國和各企業(yè)決策者面臨的難題。另外,大數(shù)據(jù)還將面臨嚴(yán)重的安全和隱私 問題。首先,隨處可見的傳感器和攝像頭等設(shè)備,會(huì)監(jiān)視并記錄人們位置等信息,通過海量數(shù)據(jù)的分析,便可輕易了解人們的行蹤規(guī)律,從而可能給人們帶來生命和財(cái)產(chǎn)安全;其次,“云設(shè)施”的經(jīng)濟(jì)劃算,推動(dòng)了僵尸網(wǎng)絡(luò)的發(fā)展及海量并行處理破解密碼系統(tǒng)的可能性;,由于云計(jì)算要求我們放棄自主計(jì)算能力,當(dāng)整個(gè)社會(huì)的信息,包括個(gè)人信息、商業(yè)信息都存儲(chǔ)在巨頭們提供的“云”上時(shí),我們只能寄希望于這些巨頭們都是道德高尚的圣人,否則我們將面臨災(zāi)難性損失。面對這些安全威脅,學(xué)術(shù)界和工業(yè)界也都紛紛提出自己策略。針對基于位置服務(wù)的安全性問題,文獻(xiàn)[40]提出了一種k-匿名方法,即將自己與周圍k-1個(gè)用戶組成一個(gè)范圍集合性對象來請求位置服務(wù),從而模糊了自己的位置。文獻(xiàn)[41]提出的策略是,搜集周圍的k-1個(gè)用戶的位置信息,并以其中的某一個(gè)的名義發(fā)送位置服務(wù)請求,從而也達(dá)到隱藏坐標(biāo)的目的。Roy等人將集中信息流控制和差分隱私保護(hù)等技術(shù)融入云中的數(shù)據(jù)生成與計(jì)算階段,提出了一種隱私保護(hù)系統(tǒng)Airavat[42],防止MapReduce計(jì)算過程中將非授權(quán)的隱私數(shù)據(jù)泄露出去,并且支持對計(jì)算結(jié)果的自動(dòng)除密。Mowbray等人在數(shù)據(jù)存儲(chǔ)和使用階段使用一種基于客戶端的隱私管理工具[43],提供以用戶為中心的信任模型,幫助用戶控制自己的敏感信息在云端的存儲(chǔ)和使用。蘋果最近申請了一項(xiàng)專利,叫做電子分析污染技術(shù),能夠?qū)⒂脩粼谔O果產(chǎn)品上產(chǎn)生的行為數(shù)據(jù)進(jìn)行污染和混淆,讓其他廠商獲取不到真正的用戶數(shù)據(jù)。這類信息安全保護(hù)的思路是:當(dāng)各種加密措施無法徹底保護(hù)個(gè)人信息時(shí),不如將大量的垃圾信息、錯(cuò)誤信息充斥在真實(shí)有效的信息之中,讓竊取者不得不耗費(fèi)巨大的成本從中分析。高德納公司分析指出,大數(shù)據(jù)安全是一場必要的斗爭,并且大數(shù)據(jù)本身更可用來提高企業(yè)安全。因?yàn)榻鉀Q安全問題的前提是,企業(yè)必須先確定正常、非惡意活動(dòng)是啥樣子的,然后查找與之不同的活動(dòng);從而,發(fā)現(xiàn)惡意活動(dòng),基于大數(shù)據(jù)來建立一個(gè)基線標(biāo)準(zhǔn)就很好地達(dá)到了這個(gè)目的。

,大數(shù)據(jù)的出現(xiàn)會(huì)促使IT相關(guān)行業(yè)的生態(tài)環(huán)境和產(chǎn)業(yè)鏈的變革。傳統(tǒng)的網(wǎng)絡(luò)公司運(yùn)營模式是在自己的服務(wù)器上來管理若干產(chǎn)品和服務(wù),并通過網(wǎng)絡(luò)連線提供給用戶終端,產(chǎn)生的數(shù)據(jù)歸公司獨(dú)有。然而,在大數(shù)據(jù)時(shí)代,這種模式已經(jīng)難以勝任,服務(wù)公司往往會(huì)選擇租賃第三方的開放平臺來運(yùn)營自己的業(yè)務(wù)。這樣,用戶提供數(shù)據(jù),服務(wù)方處理數(shù)據(jù),但數(shù)據(jù)的實(shí)際存儲(chǔ)地卻在第三方。大數(shù)據(jù)影響的IT產(chǎn)業(yè)鏈大致包括數(shù)據(jù)資源、應(yīng)用軟件、基礎(chǔ)設(shè)施三大部分。數(shù)據(jù)資源方面,各大信息中心、通信運(yùn)營商等積極研制和引用大數(shù)據(jù)技術(shù),挖掘大量數(shù)據(jù)分析相關(guān)人才,數(shù)據(jù)資源的收集和開發(fā)產(chǎn)業(yè)逐步完善;應(yīng)用軟件方面,隨著高性能云平臺的出現(xiàn),云應(yīng)用軟件也不斷被開發(fā)出來,用戶再也不必?zé)缽?fù)雜的軟件安裝和配置過程,便可以輕松享受各種網(wǎng)絡(luò)應(yīng)用服務(wù);基礎(chǔ)設(shè)施方面,大數(shù)據(jù)對硬件的依賴,迫使高性能硬盤、低能耗服務(wù)器、小巧化個(gè)人終端等行業(yè)的快速發(fā)展。另外,大數(shù)據(jù)技術(shù)的日益成熟也會(huì)促使跨行業(yè)經(jīng)營模式的發(fā)展。第三方可以將用戶的各種服務(wù)請求進(jìn)行打包,然后利用大數(shù)據(jù)分析來尋求好的服務(wù)商的組合以反饋給用戶。對服務(wù)提供方來說,借助第三方可以更好地推銷自己的服務(wù)。而對第三方而言,可以獲得大量的分析數(shù)據(jù),其中的利益也是可觀的,真正的實(shí)現(xiàn)了“雙贏”,同時(shí)也使得用戶獲得更好的服務(wù)體驗(yàn)。

結(jié)束語

大數(shù)據(jù)時(shí)代挑戰(zhàn)與機(jī)遇并存,正確處理好大數(shù)據(jù),不僅符合企業(yè)的利益,也給人們?nèi)粘Ｉ顜順O大的便利。本文對大數(shù)據(jù)的基本概念、處理流程以及相關(guān)技術(shù)進(jìn)行了簡要的探討,并分析了大數(shù)據(jù)可能帶來的一些問題及應(yīng)對策略。云計(jì)算目前是處理大數(shù)據(jù)的基礎(chǔ)技術(shù),但其在安全和隱私方面的保障工作仍讓不少人感到懷疑,根本原因還是個(gè)人和商業(yè)的信息都存放在遠(yuǎn)端的巨頭們提供的看不見的“云”上。大數(shù)據(jù)時(shí)代已經(jīng)到來,但是,相應(yīng)的技術(shù)體系和社會(huì)保障仍是亟需研究的應(yīng)用課題

大數(shù)據(jù)應(yīng)用論文:參加大數(shù)據(jù)審計(jì)應(yīng)用培訓(xùn)心得

近日，__市審計(jì)局開展了面向全體業(yè)務(wù)人員的大數(shù)據(jù)應(yīng)用審計(jì)業(yè)務(wù)培訓(xùn)會(huì)，旨在提升業(yè)務(wù)人員在項(xiàng)目審計(jì)過程中的審計(jì)效率，運(yùn)用大數(shù)據(jù)審計(jì)思維和計(jì)算機(jī)審計(jì)手段，充分發(fā)揮審計(jì)功能。通過培訓(xùn)，審計(jì)人員不僅學(xué)習(xí)了新的技術(shù)，還對當(dāng)前我國審計(jì)事業(yè)的發(fā)展有了新的認(rèn)識,為共同創(chuàng)造我省審計(jì)事業(yè)的新成績，打下了基礎(chǔ)。

2015年12月12日，國家行政學(xué)院常務(wù)副院長馬建堂在國家行政學(xué)院召開的“大數(shù)據(jù)與國家治理”圓桌論壇上表示“要積極擁抱使用大數(shù)據(jù)，以提高政府公共管理能力、公共服務(wù)水平、公共政策質(zhì)量。”隨著當(dāng)代信息技術(shù)的蓬勃發(fā)展，各行各業(yè)均所產(chǎn)生的數(shù)據(jù)量將呈指數(shù)級增長，數(shù)據(jù)種類和格式也日漸豐富，除了儲(chǔ)存這些數(shù)據(jù)，審計(jì)人員更多是要利用這些大數(shù)據(jù)，對它們進(jìn)行收集，整理，清洗，分析，利用這些數(shù)據(jù)創(chuàng)造新的價(jià)值。隨著被審計(jì)單位財(cái)務(wù)軟件和業(yè)務(wù)軟件的不斷更新升級，審計(jì)人員運(yùn)用“低成本、低風(fēng)險(xiǎn)、高效率”的審計(jì)技術(shù)變得尤為重要。__省審計(jì)廳審計(jì)云系統(tǒng)的搭建，為基層審計(jì)工作者節(jié)約了數(shù)據(jù)采集、整理及轉(zhuǎn)換的時(shí)間，同時(shí)通過云系統(tǒng)進(jìn)行數(shù)據(jù)分析，進(jìn)一步的提高了審計(jì)工作效率，變審計(jì)工作重點(diǎn)從“現(xiàn)場審計(jì)找疑點(diǎn)”為“現(xiàn)場審計(jì)核實(shí)疑點(diǎn)”，實(shí)現(xiàn)“快、準(zhǔn)、穩(wěn)”的審計(jì)目標(biāo)要求。

計(jì)算機(jī)審計(jì)的效果，取決于審計(jì)人員將計(jì)算機(jī)技術(shù)與審計(jì)方法結(jié)合能力的高低。要推動(dòng)大數(shù)據(jù)審計(jì)的落實(shí)與發(fā)展，基層審計(jì)機(jī)關(guān)必須建立高素質(zhì)的計(jì)算機(jī)審計(jì)隊(duì)伍。加強(qiáng)審計(jì)人員計(jì)算機(jī)操作技能的培訓(xùn)，是推進(jìn)基層大數(shù)據(jù)審計(jì)的重要手段。此次__市審計(jì)局開展的業(yè)務(wù)培訓(xùn)會(huì)，除了對word￥excel及審計(jì)軟件的基本操作進(jìn)行解析外，著重強(qiáng)調(diào)了審計(jì)人員應(yīng)當(dāng)培養(yǎng)充分應(yīng)用計(jì)算機(jī)審計(jì)的工作意識。在此基礎(chǔ)上，加入了計(jì)算機(jī)軟硬件及網(wǎng)絡(luò)應(yīng)有的安全控制方法、計(jì)算機(jī)知識與審計(jì)知識的融合兩方面培訓(xùn)內(nèi)容，旨在培養(yǎng)具備計(jì)算機(jī)常識、網(wǎng)絡(luò)知識以及掌握信息系統(tǒng)審計(jì)技術(shù)的現(xiàn)代審計(jì)業(yè)務(wù)人員，促使審計(jì)人員在審計(jì)工作中將審計(jì)知識與計(jì)算機(jī)技術(shù)進(jìn)行有效結(jié)合。

2015年12月8日，中國政府網(wǎng)公布中共中央辦公廳、國務(wù)院辦公廳印發(fā)《關(guān)于實(shí)行審計(jì)全覆蓋的實(shí)施意見》，是對國家審計(jì)監(jiān)督提出實(shí)現(xiàn)審計(jì)監(jiān)督全覆蓋的時(shí)代要求。面對一個(gè)個(gè)數(shù)量龐大、種類繁雜的數(shù)據(jù)信息源，如何整合審計(jì)數(shù)據(jù)中心數(shù)據(jù)資源、挖掘跨行業(yè)、跨單位、跨系統(tǒng)的核心數(shù)據(jù)就變得十分重要。此次__市審計(jì)局開展的業(yè)務(wù)培訓(xùn)會(huì)，以本級財(cái)政預(yù)算審計(jì)為例，將財(cái)政四大業(yè)務(wù)系統(tǒng)與財(cái)務(wù)系統(tǒng)進(jìn)行跨系統(tǒng)數(shù)據(jù)整理及對比分析方法及操作核心詳細(xì)解讀，為審計(jì)業(yè)務(wù)人員提供了跨系統(tǒng)數(shù)據(jù)比對分析思路，激發(fā)了審計(jì)業(yè)務(wù)人員對進(jìn)一步實(shí)現(xiàn)跨單位、跨行業(yè)的全覆蓋審計(jì)思路。

在大數(shù)據(jù)時(shí)代，挑戰(zhàn)與機(jī)遇并存，計(jì)算機(jī)信息技術(shù)的廣泛運(yùn)用和審計(jì)業(yè)務(wù)已經(jīng)深度融合，為審計(jì)事業(yè)帶來了新發(fā)展。

大數(shù)據(jù)應(yīng)用論文:國務(wù)院辦公廳關(guān)于促進(jìn)和規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的指導(dǎo)意見

國辦發(fā)〔2016〕47號

各省、自治區(qū)、直轄市人民政府，國務(wù)院各部委、各直屬機(jī)構(gòu)：

健康醫(yī)療大數(shù)據(jù)是國家重要的基礎(chǔ)性戰(zhàn)略資源。健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展將帶來健康醫(yī)療模式的深刻變化，有利于激發(fā)深化醫(yī)藥衛(wèi)生體制改革的動(dòng)力和活力，提升健康醫(yī)療服務(wù)效率和質(zhì)量，擴(kuò)大資源供給，不斷滿足人民群眾多層次、多樣化的健康需求，有利于培育新的業(yè)態(tài)和經(jīng)濟(jì)增長點(diǎn)。為貫徹落實(shí)《國務(wù)院關(guān)于印發(fā)促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要的通知》（國發(fā)〔2015〕50號）要求，順應(yīng)新興信息技術(shù)發(fā)展趨勢，規(guī)范和推動(dòng)健康醫(yī)療大數(shù)據(jù)融合共享、開放應(yīng)用，經(jīng)國務(wù)院同意，現(xiàn)提出如下意見。

一、指導(dǎo)思想、基本原則和發(fā)展目標(biāo)

（一）指導(dǎo)思想。深入貫徹落實(shí)黨的十八大和十八屆三中、四中、五中全會(huì)精神，牢固樹立并切實(shí)貫徹創(chuàng)新、協(xié)調(diào)、綠色、開放、共享的發(fā)展理念，按照黨中央、國務(wù)院決策部署，發(fā)揮市場在資源配置中的決定性作用，更好發(fā)揮政府作用，以保障全體人民健康為出發(fā)點(diǎn)，強(qiáng)化頂層設(shè)計(jì)，夯實(shí)基層基礎(chǔ)，完善政策制度，創(chuàng)新工作機(jī)制，大力推動(dòng)政府健康醫(yī)療信息系統(tǒng)和公眾健康醫(yī)療數(shù)據(jù)互聯(lián)融合、開放共享，消除信息孤島，積極營造促進(jìn)健康醫(yī)療大數(shù)據(jù)安全規(guī)范、創(chuàng)新應(yīng)用的發(fā)展環(huán)境，通過“互聯(lián)網(wǎng)+健康醫(yī)療”探索服務(wù)新模式、培育發(fā)展新業(yè)態(tài)，努力建設(shè)人民滿意的醫(yī)療衛(wèi)生事業(yè)，為打造健康中國、建成小康社會(huì)和實(shí)現(xiàn)中華民族偉大復(fù)興的中國夢提供有力支撐。

（二）基本原則。

堅(jiān)持以人為本、創(chuàng)新驅(qū)動(dòng)。將健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展納入國家大數(shù)據(jù)戰(zhàn)略布局，推進(jìn)政產(chǎn)學(xué)研用聯(lián)合協(xié)同創(chuàng)新，強(qiáng)化基礎(chǔ)研究和核心技術(shù)攻關(guān)，突出健康醫(yī)療重點(diǎn)領(lǐng)域和關(guān)鍵環(huán)節(jié)，利用大數(shù)據(jù)拓展服務(wù)渠道，延伸和豐富服務(wù)內(nèi)容，更好滿足人民健康醫(yī)療需求。

堅(jiān)持規(guī)范有序、安全可控。建立健全健康醫(yī)療大數(shù)據(jù)開放、保護(hù)等法規(guī)制度，強(qiáng)化標(biāo)準(zhǔn)和安全體系建設(shè)，強(qiáng)化安全管理責(zé)任，妥善處理應(yīng)用發(fā)展與保障安全的關(guān)系，增強(qiáng)安全技術(shù)支撐能力，有效保護(hù)個(gè)人隱私和信息安全。

堅(jiān)持開放融合、共建共享。鼓勵(lì)政府和社會(huì)力量合作，堅(jiān)持統(tǒng)籌規(guī)劃、遠(yuǎn)近結(jié)合、示范引領(lǐng)，注重盤活、整合現(xiàn)有資源，推動(dòng)形成各方支持、依法開放、便民利民、蓬勃發(fā)展的良好局面，充分釋放數(shù)據(jù)紅利，激發(fā)大眾創(chuàng)業(yè)、萬眾創(chuàng)新活力。

（三）發(fā)展目標(biāo)。到2017年底，實(shí)現(xiàn)國家和省級人口健康信息平臺以及全國藥品招標(biāo)采購業(yè)務(wù)應(yīng)用平臺互聯(lián)互通，基本形成跨部門健康醫(yī)療數(shù)據(jù)資源共享共用格局。到2020年，建成國家醫(yī)療衛(wèi)生信息分級開放應(yīng)用平臺，實(shí)現(xiàn)與人口、法人、空間地理等基礎(chǔ)數(shù)據(jù)資源跨部門、跨區(qū)域共享，醫(yī)療、醫(yī)藥、醫(yī)保和健康各相關(guān)領(lǐng)域數(shù)據(jù)融合應(yīng)用取得明顯成效；統(tǒng)籌區(qū)域布局，依托現(xiàn)有資源建成100個(gè)區(qū)域臨床醫(yī)學(xué)數(shù)據(jù)示范中心，基本實(shí)現(xiàn)城鄉(xiāng)居民擁有規(guī)范化的電子健康檔案和功能完備的健康卡，健康醫(yī)療大數(shù)據(jù)相關(guān)政策法規(guī)、安全防護(hù)、應(yīng)用標(biāo)準(zhǔn)體系不斷完善，適應(yīng)國情的健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展模式基本建立，健康醫(yī)療大數(shù)據(jù)產(chǎn)業(yè)體系初步形成、新業(yè)態(tài)蓬勃發(fā)展，人民群眾得到更多實(shí)惠。

二、重點(diǎn)任務(wù)和重大工程

（一）夯實(shí)健康醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)。

1.加快建設(shè)統(tǒng)一、互聯(lián)互通的人口健康信息平臺。實(shí)施全民健康保障信息化工程，按照安全為先、保護(hù)隱私的原則，充分依托國家電子政務(wù)外網(wǎng)和統(tǒng)一數(shù)據(jù)共享交換平臺，拓展完善現(xiàn)有設(shè)施資源，建成互通共享的國家、省、市、縣四級人口健康信息平臺，強(qiáng)化公共衛(wèi)生、計(jì)劃生育、醫(yī)療服務(wù)、醫(yī)療保障、藥品供應(yīng)、綜合管理等應(yīng)用信息系統(tǒng)數(shù)據(jù)采集、集成共享和業(yè)務(wù)協(xié)同。創(chuàng)新管理模式，推動(dòng)生育登記網(wǎng)上辦理。消除數(shù)據(jù)壁壘，暢通部門、區(qū)域、行業(yè)之間的數(shù)據(jù)共享通道，探索社會(huì)化健康醫(yī)療數(shù)據(jù)信息互通機(jī)制，推動(dòng)實(shí)現(xiàn)健康醫(yī)療數(shù)據(jù)在平臺集聚、業(yè)務(wù)事項(xiàng)在平臺辦理、政府決策依托平臺支撐。

2.推動(dòng)健康醫(yī)療大數(shù)據(jù)資源共享開放。鼓勵(lì)各類醫(yī)療衛(wèi)生機(jī)構(gòu)推進(jìn)健康醫(yī)療大數(shù)據(jù)采集、存儲(chǔ)，加強(qiáng)應(yīng)用支撐和運(yùn)維技術(shù)保障，打通數(shù)據(jù)資源共享通道。加快建設(shè)和完善以居民電子健康檔案、電子病歷、電子處方等為核心的基礎(chǔ)數(shù)據(jù)庫。建立衛(wèi)生計(jì)生、中醫(yī)藥與教育、科技、工業(yè)和信息化、公安、民政、人力資源社會(huì)保障、環(huán)保、農(nóng)業(yè)、商務(wù)、安全監(jiān)管、檢驗(yàn)檢疫、食品藥品監(jiān)管、體育、統(tǒng)計(jì)、旅游、氣象、保險(xiǎn)監(jiān)管、殘聯(lián)等跨部門密切配合、統(tǒng)一歸口的健康醫(yī)療數(shù)據(jù)共享機(jī)制。探索推進(jìn)可穿戴設(shè)備、智能健康電子產(chǎn)品、健康醫(yī)療移動(dòng)應(yīng)用等產(chǎn)生的數(shù)據(jù)資源規(guī)范接入人口健康信息平臺。建立全國健康醫(yī)療數(shù)據(jù)資源目錄體系，制定分類、分級、分域健康醫(yī)療大數(shù)據(jù)開放應(yīng)用政策規(guī)范，穩(wěn)步推動(dòng)健康醫(yī)療大數(shù)據(jù)開放。

（二）深化健康醫(yī)療大數(shù)據(jù)應(yīng)用。

3.推進(jìn)健康醫(yī)療行業(yè)治理大數(shù)據(jù)應(yīng)用。加強(qiáng)深化醫(yī)藥衛(wèi)生體制改革評估監(jiān)測，加強(qiáng)居民健康狀況等重要數(shù)據(jù)精準(zhǔn)統(tǒng)計(jì)和預(yù)測評價(jià)，有力支撐健康中國建設(shè)規(guī)劃和決策。綜合運(yùn)用健康醫(yī)療大數(shù)據(jù)資源和信息技術(shù)手段，健全醫(yī)院評價(jià)體系，推動(dòng)深化公立醫(yī)院改革，完善現(xiàn)代醫(yī)院管理制度，優(yōu)化醫(yī)療衛(wèi)生資源布局。加強(qiáng)醫(yī)療機(jī)構(gòu)監(jiān)管，健全對醫(yī)療、藥品、耗材等收入構(gòu)成及變化趨勢的監(jiān)測機(jī)制，協(xié)同醫(yī)療服務(wù)價(jià)格、醫(yī)保支付、藥品招標(biāo)采購、藥品使用等業(yè)務(wù)信息，助推醫(yī)療、醫(yī)保、醫(yī)藥聯(lián)動(dòng)改革。

4.推進(jìn)健康醫(yī)療臨床和科研大數(shù)據(jù)應(yīng)用。依托現(xiàn)有資源建設(shè)一批心腦血管、腫瘤、老年病和兒科等臨床醫(yī)學(xué)數(shù)據(jù)示范中心，集成基因組學(xué)、蛋白質(zhì)組學(xué)等國家醫(yī)學(xué)大數(shù)據(jù)資源，構(gòu)建臨床決策支持系統(tǒng)。推進(jìn)基因芯片與測序技術(shù)在遺傳性疾病診斷、癌癥早期診斷和疾病預(yù)防檢測方面的應(yīng)用，加強(qiáng)人口基因信息安全管理，推動(dòng)精準(zhǔn)醫(yī)療技術(shù)發(fā)展。圍繞重大疾病臨床用藥研制、藥物產(chǎn)業(yè)化共性關(guān)鍵技術(shù)等需求，建立藥物副作用預(yù)測、創(chuàng)新藥物研發(fā)數(shù)據(jù)融合共享機(jī)制。充分利用優(yōu)勢資源，優(yōu)化生物醫(yī)學(xué)大數(shù)據(jù)布局，依托國家臨床醫(yī)學(xué)研究中心和協(xié)同研究網(wǎng)絡(luò)，系統(tǒng)加強(qiáng)臨床和科研數(shù)據(jù)資源整合共享，提升醫(yī)學(xué)科研及應(yīng)用效能，推動(dòng)智慧醫(yī)療發(fā)展。

5.推進(jìn)公共衛(wèi)生大數(shù)據(jù)應(yīng)用。加強(qiáng)公共衛(wèi)生業(yè)務(wù)信息系統(tǒng)建設(shè)，完善國家免疫規(guī)劃、網(wǎng)絡(luò)直報(bào)、網(wǎng)絡(luò)化急救、職業(yè)病防控、口岸公共衛(wèi)生風(fēng)險(xiǎn)預(yù)警決策等信息系統(tǒng)以及移動(dòng)應(yīng)急業(yè)務(wù)平臺應(yīng)用功能，推進(jìn)醫(yī)療機(jī)構(gòu)、公共衛(wèi)生機(jī)構(gòu)和口岸檢驗(yàn)檢疫機(jī)構(gòu)的信息共享和業(yè)務(wù)協(xié)同，提升公共衛(wèi)生監(jiān)測評估和決策管理能力。整合社會(huì)網(wǎng)絡(luò)公共信息資源，完善疾病敏感信息預(yù)警機(jī)制，及時(shí)掌握和動(dòng)態(tài)分析全人群疾病發(fā)生趨勢及全球傳染病疫情信息等國際公共衛(wèi)生風(fēng)險(xiǎn)，提高突發(fā)公共衛(wèi)生事件預(yù)警與應(yīng)急響應(yīng)能力。整合環(huán)境衛(wèi)生、飲用水、健康危害因素、口岸醫(yī)學(xué)媒介生物和核生化等多方監(jiān)測數(shù)據(jù)，有效評價(jià)影響健康的社會(huì)因素。開展重點(diǎn)傳染病、職業(yè)病、口岸輸入性傳染病和醫(yī)學(xué)媒介生物監(jiān)測，整合傳染病、職業(yè)病多源監(jiān)測數(shù)據(jù)，建立實(shí)驗(yàn)室病原檢測結(jié)果快速識別網(wǎng)絡(luò)體系，有效預(yù)防控制重大疾病。推動(dòng)疾病危險(xiǎn)因素監(jiān)測評估和婦幼保健、老年保健、國際旅行衛(wèi)生健康保健等智能應(yīng)用，普及健康生活方式。

6.培育健康醫(yī)療大數(shù)據(jù)應(yīng)用新業(yè)態(tài)。加強(qiáng)健康醫(yī)療海量數(shù)據(jù)存儲(chǔ)清洗、分析挖掘、安全隱私保護(hù)等關(guān)鍵技術(shù)攻關(guān)。積極鼓勵(lì)社會(huì)力量創(chuàng)新發(fā)展健康醫(yī)療業(yè)務(wù)，促進(jìn)健康醫(yī)療業(yè)務(wù)與大數(shù)據(jù)技術(shù)深度融合，加快構(gòu)建健康醫(yī)療大數(shù)據(jù)產(chǎn)業(yè)鏈，不斷推進(jìn)健康醫(yī)療與養(yǎng)生、養(yǎng)老、家政等服務(wù)業(yè)協(xié)同發(fā)展。發(fā)展居家健康信息服務(wù)，規(guī)范網(wǎng)上藥店和醫(yī)藥物流第三方配送等服務(wù)，推動(dòng)中醫(yī)藥養(yǎng)生、健康養(yǎng)老、健康管理、健康咨詢、健康文化、體育健身、健康醫(yī)療旅游、健康環(huán)境、健康飲食等產(chǎn)業(yè)發(fā)展。

7.研制推廣數(shù)字化健康醫(yī)療智能設(shè)備。支持研發(fā)健康醫(yī)療相關(guān)的人工智能技術(shù)、生物三維（3D）打印技術(shù)、醫(yī)用機(jī)器人、大型醫(yī)療設(shè)備、健康和康復(fù)輔助器械、可穿戴設(shè)備以及相關(guān)微型傳感器件。加快研發(fā)成果轉(zhuǎn)化，提高數(shù)字醫(yī)療設(shè)備、物聯(lián)網(wǎng)設(shè)備、智能健康產(chǎn)品、中醫(yī)功能狀態(tài)檢測與養(yǎng)生保健儀器設(shè)備的生產(chǎn)制造水平，促進(jìn)健康醫(yī)療智能裝備產(chǎn)業(yè)升級。

（三）規(guī)范和推動(dòng)“互聯(lián)網(wǎng)+健康醫(yī)療”服務(wù)。

8.發(fā)展智慧健康醫(yī)療便民惠民服務(wù)。發(fā)揮品質(zhì)醫(yī)療資源的引領(lǐng)作用，鼓勵(lì)社會(huì)力量參與，整合線上線下資源，規(guī)范醫(yī)療物聯(lián)網(wǎng)和健康醫(yī)療應(yīng)用程序（APP）管理，大力推進(jìn)互聯(lián)網(wǎng)健康咨詢、網(wǎng)上預(yù)約分診、移動(dòng)支付和檢查檢驗(yàn)結(jié)果查詢、隨訪跟蹤等應(yīng)用，優(yōu)化形成規(guī)范、共享、互信的診療流程。探索互聯(lián)網(wǎng)健康醫(yī)療服務(wù)模式。以家庭醫(yī)生簽約服務(wù)為基礎(chǔ)，推進(jìn)居民健康卡、社會(huì)保障卡等應(yīng)用集成，激活居民電子健康檔案應(yīng)用，推動(dòng)覆蓋全生命周期的預(yù)防、治療、康復(fù)和健康管理的一體化電子健康服務(wù)。

9.建立遠(yuǎn)程醫(yī)療應(yīng)用體系。實(shí)施健康中國云服務(wù)計(jì)劃，建設(shè)健康醫(yī)療服務(wù)集成平臺，提供遠(yuǎn)程會(huì)診、遠(yuǎn)程影像、遠(yuǎn)程病理、遠(yuǎn)程心電診斷服務(wù)，健全檢查檢驗(yàn)結(jié)果互認(rèn)共享機(jī)制。推進(jìn)大醫(yī)院與基層醫(yī)療衛(wèi)生機(jī)構(gòu)、全科醫(yī)生與?？漆t(yī)生的數(shù)據(jù)資源共享和業(yè)務(wù)協(xié)同，健全基于互聯(lián)網(wǎng)、大數(shù)據(jù)技術(shù)的分級診療信息系統(tǒng)，延伸放大醫(yī)療衛(wèi)生機(jī)構(gòu)服務(wù)能力，有針對性地促進(jìn)“重心下移、資源下沉”。

10.推動(dòng)健康醫(yī)療教育培訓(xùn)應(yīng)用。支持建立以國家健康醫(yī)療開放大學(xué)為基礎(chǔ)、中國健康醫(yī)療教育慕課聯(lián)盟為支撐的健康醫(yī)療教育培訓(xùn)云平臺，鼓勵(lì)開發(fā)慕課健康醫(yī)療培訓(xùn)教材，探索新型互聯(lián)網(wǎng)教學(xué)模式和方法，組織品質(zhì)師資推進(jìn)網(wǎng)絡(luò)醫(yī)學(xué)教育資源開放共享和在線互動(dòng)、遠(yuǎn)程培訓(xùn)、遠(yuǎn)程手術(shù)示教、學(xué)習(xí)成效評估等應(yīng)用，便捷醫(yī)務(wù)人員終身教育，提升基層醫(yī)療衛(wèi)生服務(wù)能力。

（四）加強(qiáng)健康醫(yī)療大數(shù)據(jù)保障體系建設(shè)。

11.加強(qiáng)法規(guī)和標(biāo)準(zhǔn)體系建設(shè)。制定完善健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的法律法規(guī)，強(qiáng)化居民健康信息服務(wù)規(guī)范管理，明確信息使用權(quán)限，切實(shí)保護(hù)相關(guān)各方合法權(quán)益。完善數(shù)據(jù)開放共享支撐服務(wù)體系，建立“分級授權(quán)、分類應(yīng)用、權(quán)責(zé)一致”的管理制度。規(guī)范健康醫(yī)療大數(shù)據(jù)應(yīng)用領(lǐng)域的準(zhǔn)入標(biāo)準(zhǔn)，建立大數(shù)據(jù)應(yīng)用誠信機(jī)制和退出機(jī)制，嚴(yán)格規(guī)范大數(shù)據(jù)開發(fā)、挖掘、應(yīng)用行為。建立統(tǒng)一的疾病診斷編碼、臨床醫(yī)學(xué)術(shù)語、檢查檢驗(yàn)規(guī)范、藥品應(yīng)用編碼、信息數(shù)據(jù)接口和傳輸協(xié)議等相關(guān)標(biāo)準(zhǔn)，促進(jìn)健康醫(yī)療大數(shù)據(jù)產(chǎn)品、服務(wù)流程標(biāo)準(zhǔn)化。

12.推進(jìn)網(wǎng)絡(luò)可信體系建設(shè)。強(qiáng)化健康醫(yī)療數(shù)字身份管理，建設(shè)全國統(tǒng)一標(biāo)識的醫(yī)療衛(wèi)生人員和醫(yī)療衛(wèi)生機(jī)構(gòu)可信醫(yī)學(xué)數(shù)字身份、電子實(shí)名認(rèn)證、數(shù)據(jù)訪問控制信息系統(tǒng)，積極推進(jìn)電子簽名應(yīng)用，逐步建立服務(wù)管理留痕可溯、診療數(shù)據(jù)安全運(yùn)行、多方協(xié)作參與的健康醫(yī)療管理新模式。

13.加強(qiáng)健康醫(yī)療數(shù)據(jù)安全保障。加快健康醫(yī)療數(shù)據(jù)安全體系建設(shè)，建立數(shù)據(jù)安全管理責(zé)任制度，制定標(biāo)識賦碼、科學(xué)分類、風(fēng)險(xiǎn)分級、安全審查規(guī)則。制定人口健康信息安全規(guī)劃，強(qiáng)化國家、區(qū)域人口健康信息工程技術(shù)能力，注重內(nèi)容安全和技術(shù)安全，確保國家關(guān)鍵信息基礎(chǔ)設(shè)施和核心系統(tǒng)自主可控穩(wěn)定安全。開展大數(shù)據(jù)平臺及服務(wù)商的性、可控性和安全性評測以及應(yīng)用的安全性評測和風(fēng)險(xiǎn)評估，建立安全防護(hù)、系統(tǒng)互聯(lián)共享、公民隱私保護(hù)等軟件評價(jià)和安全審查制度。加強(qiáng)大數(shù)據(jù)安全監(jiān)測和預(yù)警，建立安全信息通報(bào)和應(yīng)急處置聯(lián)動(dòng)機(jī)制，建立健全“互聯(lián)網(wǎng)+健康醫(yī)療”服務(wù)安全工作機(jī)制，完善風(fēng)險(xiǎn)隱患化解和應(yīng)對工作措施，加強(qiáng)對涉及國家利益、公共安全、患者隱私、商業(yè)秘密等重要信息的保護(hù)，加強(qiáng)醫(yī)學(xué)院、科研機(jī)構(gòu)等方面的安全防范。

14.加強(qiáng)健康醫(yī)療信息化復(fù)合型人才隊(duì)伍建設(shè)。實(shí)施國家健康醫(yī)療信息化人才發(fā)展計(jì)劃，強(qiáng)化醫(yī)學(xué)信息學(xué)學(xué)科建設(shè)和“數(shù)字化醫(yī)生”培育，著力培育高層次、復(fù)合型的研發(fā)人才和科研團(tuán)隊(duì)，培養(yǎng)一批有國際影響力的專門人才、學(xué)科帶頭人和行業(yè)領(lǐng)軍人物。創(chuàng)新專業(yè)人才繼續(xù)教育形式，完善多層次、多類型人才培養(yǎng)培訓(xùn)體系，推動(dòng)政府、高等院校、科研院所、醫(yī)療機(jī)構(gòu)、企業(yè)共同培養(yǎng)人才，促進(jìn)健康醫(yī)療大數(shù)據(jù)人才隊(duì)伍建設(shè)。

三、加強(qiáng)組織實(shí)施

（一）強(qiáng)化統(tǒng)籌規(guī)劃。建立黨委政府領(lǐng)導(dǎo)、多方參與、資源共享、協(xié)同推進(jìn)的工作格局。國家衛(wèi)生計(jì)生委要綜合統(tǒng)籌、強(qiáng)化實(shí)施，各有關(guān)部門要密切配合、形成合力，推動(dòng)重點(diǎn)任務(wù)落實(shí)。各地區(qū)要重視健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展，切實(shí)搞好總體規(guī)劃、基礎(chǔ)建設(shè)、安全監(jiān)管，確保各項(xiàng)任務(wù)措施落到實(shí)處。推進(jìn)健康醫(yī)療大數(shù)據(jù)軍民融合發(fā)展，促進(jìn)軍地健康醫(yī)療數(shù)據(jù)規(guī)范銜接、互通共享、協(xié)同應(yīng)用。加強(qiáng)對健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的指導(dǎo)，強(qiáng)化對技術(shù)研發(fā)、新業(yè)態(tài)構(gòu)建、應(yīng)用推廣的統(tǒng)籌協(xié)調(diào)，研究建立專家委員會(huì)，組織研究制定發(fā)展戰(zhàn)略及相關(guān)政策、法規(guī)、標(biāo)準(zhǔn)。

（二）抓住重點(diǎn)著力突破。從人民群眾迫切需求的領(lǐng)域入手，重點(diǎn)推進(jìn)網(wǎng)上預(yù)約分診、遠(yuǎn)程醫(yī)療和檢查檢驗(yàn)結(jié)果共享互認(rèn)等便民惠民應(yīng)用。加快推進(jìn)基本醫(yī)保全國聯(lián)網(wǎng)和異地就醫(yī)結(jié)算。支持發(fā)展醫(yī)療智能設(shè)備、智能可穿戴設(shè)備，加強(qiáng)疑難疾病等重點(diǎn)方面的研究。選擇一批基礎(chǔ)條件好、工作積極性高、隱私安全防范有保障的地區(qū)和領(lǐng)域開展健康醫(yī)療大數(shù)據(jù)應(yīng)用試點(diǎn)，總結(jié)經(jīng)驗(yàn)，扎實(shí)有序推進(jìn)。

（三）加大政策扶持力度。研究制定政府支持政策，從財(cái)稅、投資、創(chuàng)新等方面對健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展給予必要支持。推廣運(yùn)用政府和社會(huì)資本合作（PPP）模式，鼓勵(lì)和引導(dǎo)社會(huì)資本參與健康醫(yī)療大數(shù)據(jù)的基礎(chǔ)工程、應(yīng)用開發(fā)和運(yùn)營服務(wù)。鼓勵(lì)政府與企事業(yè)單位、社會(huì)機(jī)構(gòu)開展合作，探索通過政府采購、社會(huì)眾包等方式，實(shí)現(xiàn)健康醫(yī)療大數(shù)據(jù)領(lǐng)域政府應(yīng)用與社會(huì)應(yīng)用相融合。充分發(fā)揮已設(shè)立的有關(guān)投資基金作用，充分激發(fā)社會(huì)資本和民間資本參與熱情，鼓勵(lì)創(chuàng)新多元投資機(jī)制，健全風(fēng)險(xiǎn)防范和監(jiān)管制度，支持健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展。

（四）加強(qiáng)政策宣傳普及。加強(qiáng)健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展政策解讀，大力宣傳應(yīng)用發(fā)展的重要意義和應(yīng)用前景，積極回應(yīng)社會(huì)關(guān)切，形成良好社會(huì)氛圍。積極引導(dǎo)醫(yī)療衛(wèi)生機(jī)構(gòu)和社會(huì)力量參與開展形式多樣的科普活動(dòng)，宣傳普及健康醫(yī)療大數(shù)據(jù)應(yīng)用知識，鼓勵(lì)開發(fā)簡便易行的數(shù)字醫(yī)學(xué)工具，不斷提升人民群眾掌握相關(guān)應(yīng)用的能力和社會(huì)公眾健康素養(yǎng)。

（五）推進(jìn)國際交流合作。有序推進(jìn)健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展的人才技術(shù)交流與合作。鼓勵(lì)相關(guān)企業(yè)和科研單位開展對國際先進(jìn)技術(shù)的引進(jìn)、消化吸收和再創(chuàng)新，推動(dòng)我國自主技術(shù)與全球同步發(fā)展。加大對國際健康醫(yī)療大數(shù)據(jù)應(yīng)用標(biāo)準(zhǔn)的跟蹤、評估和轉(zhuǎn)化力度，積極參與國際標(biāo)準(zhǔn)制定，增強(qiáng)相關(guān)規(guī)則制定的話語權(quán)。堅(jiān)持以我為主、加強(qiáng)監(jiān)管、確保安全原則，穩(wěn)步探索國際健康醫(yī)療大數(shù)據(jù)應(yīng)用發(fā)展合作新模式，不斷提升我國健康醫(yī)療大數(shù)據(jù)應(yīng)用水平、產(chǎn)業(yè)核心競爭力和國際化水平。

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在現(xiàn)代旅游管理中的應(yīng)用

［摘要］大數(shù)據(jù)是近年來非?；馃岬囊粋€(gè)詞匯。大數(shù)據(jù)的利用可以更好地服務(wù)廣大消費(fèi)者，因而有著極大的應(yīng)用價(jià)值。結(jié)合旅游管理工作，探討現(xiàn)代旅游管理實(shí)踐中的大數(shù)據(jù)應(yīng)用。

［關(guān)鍵詞］現(xiàn)代；旅游管理；大數(shù)據(jù)；服務(wù)

隨著近些年來游客們的出行方式越來越多樣化，各種豐富多樣的旅游主題網(wǎng)站、微博、微信等等社交媒體層出不窮，人們在旅游方面生產(chǎn)的數(shù)據(jù)越來越多。相應(yīng)的，多種來源收集數(shù)據(jù)、儲(chǔ)存數(shù)據(jù)、分析數(shù)據(jù)的能力也在飛快的發(fā)展，在現(xiàn)在旅游管理工作中，大數(shù)據(jù)的技術(shù)能夠應(yīng)用于多個(gè)方面，本文就這一問題進(jìn)行簡要分析。

1結(jié)合大數(shù)據(jù)內(nèi)涵，突出旅游價(jià)值

總的來說，所謂大數(shù)據(jù)就是數(shù)量特別龐大的數(shù)據(jù)資料，不能通過已有的軟件工具進(jìn)行提取、儲(chǔ)存、分析、共享等處理的復(fù)雜數(shù)據(jù)的集合。而對于旅游業(yè)來說，其核心內(nèi)容即旅游服務(wù)供應(yīng)鏈的每一個(gè)組成分支，都在連續(xù)不斷地持續(xù)生產(chǎn)著數(shù)據(jù)，不論是從提供基礎(chǔ)設(shè)施的合作商、提供衣食住行的旅游合作商、介紹旅客的中介商甚至是出行的游客以及管理的旅游部門無一例外，在整個(gè)旅游供應(yīng)鏈中，數(shù)據(jù)類型的類型眾多并且十分龐大，產(chǎn)生數(shù)據(jù)的題量大、數(shù)據(jù)的類型多、數(shù)據(jù)的流速高且能提供參考價(jià)值的數(shù)據(jù)密度低。對于旅游管理部門來說，合理利用旅游大數(shù)據(jù)，積極進(jìn)行數(shù)據(jù)深度挖掘，對于旅游的可持續(xù)發(fā)展具有較高的價(jià)值，能夠有效地通過人民的出行以點(diǎn)帶面地帶動(dòng)整個(gè)經(jīng)濟(jì)。在我國多個(gè)文化產(chǎn)業(yè)方向都由十分巨大的經(jīng)濟(jì)潛在價(jià)值和應(yīng)用前景。旅游大數(shù)據(jù)主要分為兩個(gè)主要部分，結(jié)構(gòu)化大數(shù)據(jù)和非結(jié)構(gòu)化大數(shù)據(jù)，結(jié)構(gòu)化大數(shù)據(jù)就是按照已經(jīng)規(guī)定好的格式進(jìn)行數(shù)據(jù)的整理，存儲(chǔ)到數(shù)據(jù)庫中以便能被核心管理系統(tǒng)進(jìn)行分析。而非結(jié)構(gòu)化的大數(shù)據(jù)就是指其他類型的數(shù)據(jù)格式，例如一些辦公文件、文本、圖片、音頻、報(bào)表等。非結(jié)構(gòu)化的旅游大數(shù)據(jù)一般包括旅游景點(diǎn)的監(jiān)控視頻、社交媒體上的音頻、視頻、出行數(shù)據(jù)、線上旅游的營銷狀況等。

2利用大數(shù)據(jù)分析，推動(dòng)旅游決策

利用旅游大數(shù)據(jù)可以有效地分析游客的需求，這樣的預(yù)測可以更好地幫助旅游運(yùn)營商設(shè)計(jì)旅游路線，為推出新的旅游決策提供強(qiáng)有力地依據(jù)。究其根本，針對旅游需求的預(yù)測不僅僅可以幫助管理局更有目的的規(guī)劃旅游決策，制定旅游方案，還可以使得旅游服務(wù)鏈上的各個(gè)環(huán)節(jié)銜接得更加緊密，上下協(xié)調(diào)一致，大大提高旅游業(yè)循環(huán)效率。旅游需求一般包括以下兩個(gè)方面的內(nèi)容，一方面是旅游者對于旅游過程中享受的硬件設(shè)備的要求，另一方面是旅游服務(wù)人員等軟件的需求。但是旅游產(chǎn)業(yè)是一個(gè)較為獨(dú)特的工作鏈，首先，旅游設(shè)施的建設(shè)是一個(gè)長期的過程，由于其地理位置的特殊性和所需材料的龐大，必定需要長期的時(shí)間和大量的工程技術(shù)人員 ；其次，在旅游行業(yè)中，季節(jié)性十分明顯，并且不具有其他服務(wù)行業(yè)的可儲(chǔ)存性、無形性等特點(diǎn)，這就造成了旅游行業(yè)的不確定因素太多，很容易就造成了成本風(fēng)險(xiǎn)，使得行業(yè)內(nèi)部的競爭變得越來越明顯。因此，利用大數(shù)據(jù)進(jìn)行預(yù)測未來旅游業(yè)發(fā)展趨勢是一項(xiàng)非常必要的工作，能夠?yàn)檎麄€(gè)旅游業(yè)指明發(fā)展的方向，并在一定程度上降低投資風(fēng)險(xiǎn)。其次，大數(shù)據(jù)還可以在擬定好的運(yùn)營方案正式上線之前進(jìn)行模擬，模擬投入運(yùn)行時(shí)市場可能出現(xiàn)的多種情況，分析其特征和規(guī)模，進(jìn)行有效的市場分析以及定位，預(yù)測未來可能會(huì)出現(xiàn)的運(yùn)營狀況，并通過市場分析進(jìn)行定位，尤其是對于旅游熱門地區(qū)來說，對于改變旅游行業(yè)規(guī)劃晚于市場發(fā)展這一現(xiàn)狀有顯著的作用。

3通過大數(shù)據(jù)特征，優(yōu)化旅游營銷

當(dāng)完成了預(yù)測任務(wù)后，旅游管理部門可以利用大數(shù)據(jù)對整個(gè)旅游市場進(jìn)行細(xì)致的劃分，分析大數(shù)據(jù)中游客們的基本屬性、需求、共同的行為特征，以及一些特定人群的偏好，例如青少年、老年人等，進(jìn)行多個(gè)角度的分析，從而做到精準(zhǔn)定位旅游行業(yè)，設(shè)計(jì)出更具有針對性的旅游項(xiàng)目，以達(dá)到大幅度提高旅游業(yè)發(fā)展的最終目的。具體來說，游客的基本屬性是指性別、年齡、財(cái)產(chǎn)狀況以及受教育程度等自身屬性，需求則是旅客們期望的出行方式、熱門出行地點(diǎn)，各個(gè)旅游網(wǎng)頁的實(shí)時(shí)搜索熱度等。對于旅游管理部門來說，可以通過統(tǒng)計(jì)各個(gè)景區(qū)內(nèi)部的大數(shù)據(jù)，例如周圍酒店入住情況、景區(qū)門票銷售情況等，管理部門可以與網(wǎng)絡(luò)營銷平臺、景區(qū)做到三方聯(lián)合，進(jìn)行大數(shù)據(jù)的整理，根據(jù)旅客的基本屬性進(jìn)行資源的預(yù)備，應(yīng)對未來可能出現(xiàn)的龐大客流量和客流需求。管理部門可以與每個(gè)景區(qū)的監(jiān)控系統(tǒng)實(shí)現(xiàn)網(wǎng)絡(luò)互通，以便當(dāng)發(fā)生一些突發(fā)緊急事件，如踩踏、堵塞等進(jìn)行實(shí)時(shí)監(jiān)控并及時(shí)給出建議和反饋。從整個(gè)旅游管理行業(yè)的宏觀方向來看，大數(shù)據(jù)的信息引導(dǎo)往往比其他的理想規(guī)劃引導(dǎo)、行政干涉、法律規(guī)范等其他調(diào)控工具來說更加敏捷迅速，因?yàn)榇髷?shù)據(jù)具有龐大的數(shù)據(jù)分析作為先天優(yōu)勢，能夠較為地幫助旅游業(yè)各個(gè)環(huán)節(jié)精準(zhǔn)定位。這也說明了，旅游服務(wù)行業(yè)如果想成長成為一個(gè)完整的不可撼動(dòng)的整體，必須要實(shí)現(xiàn)各個(gè)環(huán)節(jié)之間的無縫對接，多個(gè)部門同時(shí)運(yùn)作，協(xié)調(diào)一致，達(dá)到旅游大數(shù)據(jù)信息的共享與合理分配?？傊?，將大數(shù)據(jù)的管理思想融入到旅游服務(wù)行業(yè)中去，是提高旅游管理水平、實(shí)現(xiàn)高效旅游的一個(gè)有力途徑，但正如事物都有兩面性一樣，大數(shù)據(jù)也不可避免地會(huì)泄露一些游客的個(gè)人隱私，導(dǎo)致游客提供的數(shù)據(jù)不能確保真實(shí)性，因此如何攻克這一點(diǎn)，做更的大數(shù)據(jù)分析是目前旅游市場需要攻克的難題。

作者:高璐 單位:江蘇省南通市旅游局辦公室

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)在企業(yè)戰(zhàn)略管理的應(yīng)用

摘要：隨著企業(yè)的發(fā)展和信息技術(shù)的不斷發(fā)展，企業(yè)逐漸進(jìn)入了大數(shù)據(jù)時(shí)代。如何對紛繁復(fù)雜的數(shù)據(jù)進(jìn)行分析，從中找出對企業(yè)的發(fā)展有用的信息來促進(jìn)企業(yè)的發(fā)展在科學(xué)技術(shù)現(xiàn)代化的今天越來越中重要。企業(yè)管理者只有采用先進(jìn)的科學(xué)技術(shù)對企業(yè)的各項(xiàng)活動(dòng)進(jìn)行管理。企業(yè)的管理者要根據(jù)大數(shù)據(jù)分析技術(shù)進(jìn)行戰(zhàn)略決策。在現(xiàn)代化科學(xué)技術(shù)比較發(fā)達(dá)的今天大數(shù)據(jù)技術(shù)與企業(yè)的管理融合是未來的發(fā)展趨勢。

關(guān)鍵詞：大數(shù)據(jù);企業(yè)管理戰(zhàn)略;信息技術(shù);大數(shù)據(jù)時(shí)代

大數(shù)據(jù)的發(fā)展改變了社會(huì)的生活方式生產(chǎn)方式及企業(yè)的管理方式。大數(shù)據(jù)改變了企業(yè)的營銷方式，使企業(yè)能夠從繁復(fù)的信息中找新的經(jīng)濟(jì)增長點(diǎn)。只有利用好大數(shù)據(jù)才能夠使企業(yè)的核心競爭力適應(yīng)環(huán)境的不斷變化。大數(shù)據(jù)時(shí)代科學(xué)技術(shù)在企業(yè)中的廣泛應(yīng)用,不斷改變了人類社會(huì)的生活方式和生產(chǎn)方式。企業(yè)要不斷提高自身對數(shù)據(jù)的分析能力才能夠提高對數(shù)據(jù)綜合分析能力。

1大數(shù)據(jù)時(shí)代下的企業(yè)管理戰(zhàn)略

1.1企業(yè)通過大數(shù)據(jù)技術(shù)的分析進(jìn)行企業(yè)戰(zhàn)略決策

大數(shù)據(jù)時(shí)代的到來企業(yè)已經(jīng)改變了企業(yè)原有的生產(chǎn)管理方式。企業(yè)已經(jīng)逐漸通過大數(shù)據(jù)的分析進(jìn)行企業(yè)戰(zhàn)略決策。企業(yè)龐大的信息庫已經(jīng)不是人力所能夠分析的，企業(yè)必須要采用現(xiàn)代化的科學(xué)技術(shù)進(jìn)行數(shù)據(jù)分析提供科學(xué)的戰(zhàn)略決策。大數(shù)據(jù)的分析與數(shù)學(xué)模型的建立有著千絲萬縷的聯(lián)系。企業(yè)要提高數(shù)據(jù)分析的性就要建立更多的數(shù)學(xué)模型讓數(shù)據(jù)能夠找到適應(yīng)的模型。同時(shí)數(shù)學(xué)模型要能夠適應(yīng)數(shù)據(jù)的不斷增長和發(fā)展。管理者要通過多種數(shù)學(xué)模型分析數(shù)據(jù)不斷提高企業(yè)的競爭能力。隨著社會(huì)的不斷發(fā)展企業(yè)家都希望通過挖掘數(shù)據(jù)找到商業(yè)的價(jià)值，幫助企業(yè)快速發(fā)展實(shí)現(xiàn)利益增長。大數(shù)據(jù)的分析技術(shù)可以使企業(yè)發(fā)展更加良性化。

1.2大數(shù)據(jù)分析技術(shù)有助于優(yōu)化企業(yè)的戰(zhàn)略決策

大數(shù)據(jù)推動(dòng)了企業(yè)進(jìn)行深入的變革，現(xiàn)代的企業(yè)逐漸的朝著科技革命和創(chuàng)新管理模式方向發(fā)展。企業(yè)要提高自身的經(jīng)濟(jì)利益就要對企業(yè)內(nèi)部和外部的環(huán)境都進(jìn)行分析，通過對企業(yè)的數(shù)據(jù)進(jìn)行預(yù)測、分析、規(guī)劃和控制等的處理使自身利益得到較大化。針對企業(yè)內(nèi)部和外部的環(huán)境因素紛繁復(fù)雜、數(shù)據(jù)眾多，企業(yè)必須要通過大數(shù)據(jù)分析選定合理的戰(zhàn)略方案進(jìn)行企業(yè)管理。企業(yè)要利用大數(shù)據(jù)對周圍的環(huán)境進(jìn)行分析，制定正確的戰(zhàn)略抉擇，的把握企業(yè)的信息，合理地組織企業(yè)架構(gòu)，實(shí)現(xiàn)企業(yè)利益較大化。大數(shù)據(jù)技術(shù)能夠?qū)芾憝h(huán)節(jié)和市場需求進(jìn)行分析，利用大數(shù)據(jù)建立起相應(yīng)的數(shù)學(xué)模型，提供科學(xué)的、有利于企業(yè)發(fā)展的決策。

1.3大數(shù)據(jù)分析有助于企業(yè)決策者進(jìn)行企業(yè)的決策

企業(yè)決策者通過大數(shù)據(jù)進(jìn)行信息技術(shù)分析選擇正確的戰(zhàn)略決策。企業(yè)要在大數(shù)據(jù)分析技術(shù)的指導(dǎo)下進(jìn)行使企業(yè)不斷的適應(yīng)時(shí)代的發(fā)展。企業(yè)在戰(zhàn)略管理抉擇方面對大數(shù)據(jù)進(jìn)行分析，不斷對企業(yè)的運(yùn)營和管過程監(jiān)控評價(jià)，不斷的修改原有的方案，使企業(yè)慢慢地強(qiáng)大起來。

2大數(shù)據(jù)在企業(yè)管理中的具體應(yīng)用

2.1數(shù)據(jù)挖掘與戰(zhàn)略管理

知識的發(fā)現(xiàn)過程主要涉及到“數(shù)據(jù)倉庫，數(shù)據(jù)選擇，數(shù)據(jù)清理，數(shù)據(jù)預(yù)先處理，模型選擇”等內(nèi)容，管理決策發(fā)展的過程就是利用假設(shè)檢驗(yàn)將信息轉(zhuǎn)化為知識的過程。在數(shù)據(jù)的挖掘方面可以發(fā)現(xiàn)很多有趣的數(shù)學(xué)模型對信息決策非常有用，這些數(shù)學(xué)模型可以存儲(chǔ)在數(shù)據(jù)倉庫、數(shù)據(jù)庫等信息庫中，在解決相關(guān)問題是只要調(diào)出相關(guān)模型就可以了。數(shù)據(jù)挖掘?qū)嵤┓椒ㄕ撛诘膽?yīng)用非常廣泛。這種數(shù)據(jù)挖掘方式通過提供方法和參考模型，幫助用戶進(jìn)行數(shù)據(jù)方面的挖掘。這種方法在企業(yè)決策方面的數(shù)據(jù)挖掘方面運(yùn)用很普遍。

2.2跨行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)挖掘方法論的主要數(shù)據(jù)挖掘技術(shù)

這種數(shù)據(jù)挖掘理論涉及到的技術(shù)主要有關(guān)聯(lián)數(shù)據(jù)技術(shù)、分類數(shù)據(jù)技術(shù)、聚類數(shù)據(jù)技術(shù)、時(shí)間序列分析技術(shù)等。

2.3跨行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)挖掘論的生命周期

跨行業(yè)標(biāo)準(zhǔn)數(shù)據(jù)挖掘論的生命周期主要分為六個(gè)階段，主要包括業(yè)務(wù)理解、數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備、數(shù)學(xué)模型建立、數(shù)據(jù)評估、數(shù)據(jù)等幾個(gè)階段。

3利用數(shù)據(jù)模型進(jìn)行戰(zhàn)略管理

3.1利用數(shù)據(jù)技術(shù)進(jìn)行企業(yè)的戰(zhàn)略管理

企業(yè)利用數(shù)據(jù)技術(shù)進(jìn)行戰(zhàn)略管理的策略主要有SWOT戰(zhàn)略、差異化競爭戰(zhàn)略、相關(guān)聯(lián)的多元化戰(zhàn)略、市場預(yù)測戰(zhàn)略等。企業(yè)的戰(zhàn)略管理主要涉及五個(gè)方面的內(nèi)容，主要包括：企業(yè)的愿景和使命，企業(yè)的戰(zhàn)略目標(biāo)，企業(yè)的環(huán)境分析，企業(yè)的戰(zhàn)略制定，企業(yè)的戰(zhàn)略實(shí)施，企業(yè)的戰(zhàn)略評估。

3.2數(shù)據(jù)管理與企業(yè)戰(zhàn)略管理間的映射

關(guān)聯(lián)規(guī)則與SWOT戰(zhàn)略：關(guān)聯(lián)規(guī)則在數(shù)據(jù)可中的應(yīng)用非常廣泛，SWOT主要用來對企業(yè)的戰(zhàn)略環(huán)境進(jìn)行分析。SWOT是一種分析方法。企業(yè)戰(zhàn)略管理運(yùn)用SWOT這種分析方法來發(fā)現(xiàn)組織不同環(huán)境因素之間的關(guān)系。這兩種分析方法目的都在于能夠發(fā)現(xiàn)和理解不同參數(shù)之間的關(guān)系。

3.3分類和數(shù)據(jù)差異化戰(zhàn)略

數(shù)據(jù)庫中的分類是根據(jù)數(shù)據(jù)庫中的一些屬性構(gòu)造模型，并且使用這種模型分類。戰(zhàn)略管理的差異化策略能夠?yàn)椴煌目蛻籼峁┡c其他同行業(yè)企業(yè)不同的產(chǎn)品和服務(wù)。這種策略不僅能夠滿足用戶的需要，還不容易被同行業(yè)的產(chǎn)品取代。運(yùn)用差異化戰(zhàn)略用戶只要根據(jù)產(chǎn)品形態(tài)上的差異就能夠預(yù)測，可以看做是一個(gè)分類問題。

3.4聚類與相關(guān)多元化

聚類就是把數(shù)據(jù)按照相似性的要求分成不同的類別。企業(yè)管理的多元化戰(zhàn)略主要論述公司在業(yè)務(wù)競爭上有價(jià)值的“戰(zhàn)略匹配關(guān)系”。這種新的業(yè)務(wù)問題可以看作是一個(gè)聚類問題。

4大數(shù)據(jù)技術(shù)對決策系統(tǒng)的影響

企業(yè)的決策大數(shù)據(jù)是企業(yè)的信息數(shù)字化、并對這些數(shù)據(jù)進(jìn)行整理和分析。首先企業(yè)要按照企業(yè)的層級功能建立數(shù)據(jù)采集系統(tǒng)，從多個(gè)維度采集信息。第二，企業(yè)推進(jìn)信息決策的自動(dòng)化、分算化、前端化。要提高決策的信息指標(biāo)和科技含量。隨著社會(huì)的不斷發(fā)展，傳統(tǒng)的決策已經(jīng)沒有辦法滿足企業(yè)快速發(fā)展的需要。企業(yè)要以網(wǎng)絡(luò)技術(shù)為基礎(chǔ)，通過大數(shù)據(jù)分析建立分散的決策模式。在這個(gè)復(fù)雜的決策環(huán)境中決策的時(shí)效性對企業(yè)管理更為重要，傳統(tǒng)的決策模式已經(jīng)不能夠適應(yīng)社會(huì)的發(fā)展需求，大數(shù)據(jù)技術(shù)為企業(yè)帶來了新的決策分析方法。企業(yè)要通過決模型的創(chuàng)新，建立適應(yīng)企業(yè)發(fā)展的決策模型。

5結(jié)束語

隨著大數(shù)據(jù)技術(shù)的不斷發(fā)展，社會(huì)政府和企也都把大數(shù)據(jù)作為關(guān)注的重點(diǎn)。通過大數(shù)據(jù)技術(shù)對企業(yè)進(jìn)行的管理，為企業(yè)提供科學(xué)的決策。大數(shù)據(jù)技術(shù)有助于企業(yè)綜合實(shí)力的提升，有助于企業(yè)適應(yīng)未來的發(fā)展。在企業(yè)的競爭中人才是最根本的因素。企業(yè)要重視人才的培養(yǎng)。

作者:姚欣欣 張峰 孫雷 單位:國網(wǎng)遼寧省電力有限公司盤錦供電公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在物資招標(biāo)采購管理中的應(yīng)用

摘要:

大數(shù)據(jù)在招標(biāo)采購管理中的應(yīng)用分為四個(gè)主要步驟，分別是:歷史采購診斷、提出大數(shù)據(jù)應(yīng)用方向、對大數(shù)據(jù)應(yīng)用點(diǎn)進(jìn)行分析、提出大數(shù)據(jù)在招標(biāo)采購管理中的具體實(shí)施方案。本文主要針對大數(shù)據(jù)在物資招標(biāo)采購管理中的應(yīng)用進(jìn)行細(xì)致分析。

關(guān)鍵詞:

大數(shù)據(jù);物資;招標(biāo);采購管理;應(yīng)用;分析;研究

1具體研究思路

由于對大數(shù)據(jù)在物資管理中的研究尚且處于初級階段，很多的應(yīng)用理論都比較缺乏，再加上現(xiàn)有的知識體系達(dá)不到招標(biāo)采購大數(shù)據(jù)的應(yīng)用需求，所以主要根據(jù)當(dāng)前招標(biāo)采購管理業(yè)務(wù)的一些特點(diǎn)和趨勢，將大數(shù)據(jù)招標(biāo)采購管理應(yīng)用細(xì)化，分為以下幾個(gè)步驟。及時(shí)點(diǎn)是對之前歷史保留下來的采購數(shù)據(jù)進(jìn)行重新的整合與診斷，對于一些有利用價(jià)值的信息要進(jìn)行充分的挖掘，并對之前那些雜亂的數(shù)據(jù)信息進(jìn)行統(tǒng)一整理。第二點(diǎn)就是根據(jù)招標(biāo)采購業(yè)務(wù)的實(shí)際特點(diǎn)，結(jié)合實(shí)際業(yè)務(wù)需求的基礎(chǔ)上，提出大數(shù)據(jù)今后的應(yīng)用方向。并從這一應(yīng)用方向中選擇大數(shù)據(jù)的實(shí)際應(yīng)用點(diǎn)，將其與招標(biāo)采購業(yè)務(wù)流程進(jìn)行實(shí)時(shí)的連接。第三點(diǎn)是對選擇出來的大數(shù)據(jù)應(yīng)用點(diǎn)進(jìn)行分析，找出其中存在的問題和難點(diǎn)，集中對這些問題和難點(diǎn)進(jìn)行分析和研究，并對最終研究出來的結(jié)果進(jìn)行評估。第四點(diǎn)是針對當(dāng)前我國招標(biāo)采購大數(shù)據(jù)，對其應(yīng)用點(diǎn)進(jìn)行細(xì)致的區(qū)分和規(guī)劃，并根據(jù)數(shù)據(jù)的使用狀況提出大數(shù)據(jù)在招標(biāo)采購管理中的具體實(shí)施方案。以業(yè)務(wù)流程分析為主要的輔助依據(jù)，以大數(shù)據(jù)的實(shí)際應(yīng)用為具體導(dǎo)向。具體研究思路如圖1所示。

2研究方法和過程

2.1歷史采購數(shù)據(jù)的挖掘和診斷

研究人員會(huì)根據(jù)招標(biāo)采購業(yè)務(wù)流程中可能會(huì)涉及的業(yè)務(wù)環(huán)節(jié)進(jìn)行詳細(xì)的分析，由于每一項(xiàng)業(yè)務(wù)之間所涵蓋的數(shù)據(jù)信息都非常豐富，這也為數(shù)據(jù)采集工作奠定了基礎(chǔ)。將所有歷史采購的數(shù)據(jù)進(jìn)行整合，并將零散的物資供應(yīng)鏈條分成若干類別。對數(shù)據(jù)的質(zhì)量進(jìn)行系統(tǒng)的分析，這樣做也是為了大數(shù)據(jù)應(yīng)用點(diǎn)的提出創(chuàng)建堅(jiān)實(shí)的基礎(chǔ)。

2.2大數(shù)據(jù)在招標(biāo)采購中的具體應(yīng)用

隨著整體業(yè)務(wù)流程場景化的不斷應(yīng)用，招標(biāo)采購業(yè)務(wù)管理的實(shí)際水平也會(huì)得到極大的提升。除此之外，還可以采用調(diào)查分析法來對其進(jìn)行分析。由于招標(biāo)采購業(yè)務(wù)的流程主要包括四個(gè)主要范疇。而研究人員選擇其中的幾個(gè)大數(shù)據(jù)的應(yīng)用點(diǎn)，并將其分為事前和事后兩個(gè)時(shí)間段來進(jìn)行分析。具體情況見圖2。在事前階段，研究人員主要通過對大數(shù)據(jù)的分析，為物資的采購提供相應(yīng)的數(shù)據(jù)參考，然后通過對采購物資的分析來不斷優(yōu)化完善物資的分類方法，再將物資分析與招標(biāo)分析方法進(jìn)行有機(jī)的整合。除此之外，在對物資的類別和采購方式進(jìn)行分析之后，就可以讓每個(gè)物資品類都可以找到與之相對應(yīng)的采購方式。在事后階段，研究人員會(huì)通過對一系列大數(shù)據(jù)的分析，先總結(jié)出物資采購的相關(guān)規(guī)律特點(diǎn)，并通過對一些相對比較重點(diǎn)的物資進(jìn)行報(bào)價(jià)處理，在了解報(bào)價(jià)的范圍之后，總結(jié)出重點(diǎn)物資的報(bào)價(jià)規(guī)律，判斷他們是否存在違規(guī)等現(xiàn)象。

2.3大數(shù)據(jù)應(yīng)用點(diǎn)評估

研究人員在對大數(shù)據(jù)進(jìn)行定性評估分析時(shí)，大數(shù)據(jù)的分析點(diǎn)都是不同的，所以要求研究人員要充分的了解業(yè)務(wù)的流程以及數(shù)據(jù)的梳理情況，從數(shù)據(jù)分析等多個(gè)角度對大數(shù)據(jù)進(jìn)行實(shí)時(shí)評估。在綜合考慮了實(shí)際的應(yīng)用價(jià)值之后，再將大數(shù)據(jù)的分析點(diǎn)進(jìn)行等級評估。

2.4大數(shù)據(jù)在招標(biāo)采購管理中的實(shí)施方案

研究人員通過對大數(shù)據(jù)應(yīng)用點(diǎn)的分析，分析之后確定大數(shù)據(jù)應(yīng)用的設(shè)施方案。然后根據(jù)優(yōu)先級的劃分，將大數(shù)據(jù)的應(yīng)用分為三個(gè)主要實(shí)施階段。招標(biāo)采購業(yè)務(wù)大數(shù)據(jù)應(yīng)用點(diǎn)實(shí)施規(guī)劃如表1所示。在對大數(shù)據(jù)的實(shí)際應(yīng)用中，首先要關(guān)注的目標(biāo)就是及時(shí)優(yōu)先級中應(yīng)用價(jià)值高、可行性強(qiáng)的分析點(diǎn)，研究人員就可以以這一分析點(diǎn)作為主要的切入點(diǎn)，這樣就能夠在較短的時(shí)間之內(nèi)實(shí)現(xiàn)物資業(yè)務(wù)管理的水平。而且隨著這一分析點(diǎn)的不斷提升，其業(yè)務(wù)管理的水平也會(huì)有相應(yīng)的提升。其次需要關(guān)注的就是第二優(yōu)先級中可行性較強(qiáng)的大數(shù)據(jù)應(yīng)用點(diǎn)，這一應(yīng)用點(diǎn)不僅可行性強(qiáng)，而且運(yùn)用難度也比較適中，適合大范圍使用。而中長期目標(biāo)就是第三、第四應(yīng)用點(diǎn)中難度大，運(yùn)用難度高的大數(shù)據(jù)應(yīng)用點(diǎn)。

3結(jié)語

大數(shù)據(jù)在當(dāng)前社會(huì)的發(fā)展中所占的比重越來越大。大數(shù)據(jù)現(xiàn)已成為推動(dòng)社會(huì)經(jīng)濟(jì)發(fā)展和產(chǎn)業(yè)競爭的主要因素。隨著我國信息化城市建設(shè)的不斷發(fā)展，對全新能源的開發(fā)，使得招標(biāo)采購管理對大數(shù)據(jù)應(yīng)用的需求也是越來越大，大數(shù)據(jù)理論的應(yīng)用可以創(chuàng)造社會(huì)價(jià)值，能夠促進(jìn)招標(biāo)采購業(yè)務(wù)管理的水平，這也是為我國實(shí)施大數(shù)據(jù)戰(zhàn)略提供了堅(jiān)實(shí)的后盾。

作者:李悅 單位:哈爾濱市軌道交通建設(shè)辦公室

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)應(yīng)用

編者按：

針對某省運(yùn)營管理系統(tǒng)存在的數(shù)據(jù)問題和現(xiàn)狀，中國移動(dòng)江蘇有限公司網(wǎng)絡(luò)部趙恒特撰寫《基于大數(shù)據(jù)的M運(yùn)營商運(yùn)營管理信息系統(tǒng)應(yīng)用》一文，該文有針對性地提出了Hadoop處理框架和數(shù)據(jù)集市云化的架構(gòu)應(yīng)用，描述了基于大數(shù)據(jù)平臺的某運(yùn)營商運(yùn)管管理信息系統(tǒng)，其內(nèi)部優(yōu)化了KPI管理、產(chǎn)品管理、決策管理、生產(chǎn)服務(wù)、客戶服務(wù)、投訴管理、市場營銷等管理流程，在項(xiàng)目實(shí)施過程中形成了統(tǒng)一大數(shù)據(jù)中心管理模式，打破了部門壁壘和信息鴻溝，效果良好，獲得運(yùn)營商集團(tuán)公司科技與業(yè)務(wù)創(chuàng)新一等獎(jiǎng)?？晒┫嚓P(guān)技術(shù)人員學(xué)習(xí)、參考。

摘要：

針對某省運(yùn)營管理系統(tǒng)存在的基礎(chǔ)數(shù)據(jù)問題和現(xiàn)狀，有針對性提出了Hadoop處理框架和數(shù)據(jù)集市云化的架構(gòu)應(yīng)用。本文描述了基于大數(shù)據(jù)平臺的某省運(yùn)營商運(yùn)管管理信息系統(tǒng)，在內(nèi)部優(yōu)化了包括KPI管理、產(chǎn)品管理、決策管理、生產(chǎn)服務(wù)、客戶服務(wù)、投訴管理、市場營銷等在內(nèi)的管理流程，在項(xiàng)目實(shí)施過程中形成統(tǒng)一大數(shù)據(jù)中心管理模式，打破部門壁壘和信息鴻溝，產(chǎn)生了良好的效果，獲得運(yùn)營商集團(tuán)公司的科技與業(yè)務(wù)創(chuàng)新一等獎(jiǎng)。

關(guān)鍵詞：

大數(shù)據(jù)；運(yùn)營商；運(yùn)營管理；管理信息系統(tǒng)

1大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)的實(shí)現(xiàn)

大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)采用新技術(shù)，運(yùn)營商采用業(yè)界先進(jìn)且成熟的技術(shù)，考慮技術(shù)產(chǎn)品升級時(shí)的平滑度，保障所選的軟硬件具有較長的生命周期，滿足需求，立足應(yīng)用，構(gòu)建大數(shù)據(jù)生態(tài)體系。先進(jìn)成熟技術(shù)包括Hadoop處理框架、實(shí)時(shí)流式數(shù)據(jù)處理框架等。（1）Hadoop處理框架（見圖2）一個(gè)分布式系統(tǒng)架構(gòu)，充分利用集群的威力高速運(yùn)算和存儲(chǔ)，提供高傳輸率來訪問、計(jì)算已存儲(chǔ)的海量數(shù)據(jù)；是大數(shù)據(jù)處理架構(gòu)的事實(shí)標(biāo)準(zhǔn)。部署x86Hadoop平臺，在聚合層存儲(chǔ)海量源數(shù)據(jù)，并針對海量、非結(jié)構(gòu)化/半結(jié)構(gòu)化數(shù)據(jù)提供大規(guī)模處理的計(jì)算能力，在數(shù)據(jù)資產(chǎn)層存儲(chǔ)離線數(shù)據(jù)資產(chǎn)，提供高效查詢的資產(chǎn)存儲(chǔ)管理能力。（2）流數(shù)據(jù)處理框架（見圖3）一種分布式、容錯(cuò)的實(shí)時(shí)計(jì)算系統(tǒng)，實(shí)時(shí)處理消息并根據(jù)處理結(jié)果提供相應(yīng)的處理機(jī)制。部署x86流數(shù)據(jù)處理平臺，在聚合層對接源系統(tǒng)實(shí)時(shí)數(shù)據(jù)接口，實(shí)時(shí)采集源信息并進(jìn)行處理與分析；結(jié)合數(shù)據(jù)資產(chǎn)層的數(shù)據(jù)應(yīng)用模型、數(shù)據(jù)應(yīng)用層的規(guī)則引擎及時(shí)做出業(yè)務(wù)目標(biāo)的響應(yīng)（實(shí)時(shí)BI、實(shí)時(shí)事件觸發(fā)式營銷等）。（3）業(yè)務(wù)規(guī)則引擎規(guī)則引擎將業(yè)務(wù)決策從應(yīng)用程序代碼中分離出來，并使用預(yù)定義的語義模塊編寫、解釋業(yè)務(wù)規(guī)則，并根據(jù)業(yè)務(wù)規(guī)則做出業(yè)務(wù)決策。將數(shù)據(jù)按照一定的業(yè)務(wù)規(guī)則分類，匹配業(yè)務(wù)系統(tǒng)的數(shù)據(jù)需求場景；定義事件與流程，面向其他業(yè)務(wù)平臺將數(shù)據(jù)中心的能力按照規(guī)則主動(dòng)式提供。（4）數(shù)據(jù)服務(wù)樞紐（見圖5）按照數(shù)據(jù)開放公共語義模型，將數(shù)據(jù)資產(chǎn)封裝成共享業(yè)務(wù)數(shù)據(jù)模型，形成上層服務(wù)；屏蔽系統(tǒng)接口的技術(shù)差異，使用ESB統(tǒng)一協(xié)調(diào)服務(wù)運(yùn)營。實(shí)現(xiàn)企業(yè)數(shù)據(jù)中心的數(shù)據(jù)與應(yīng)用分離，提高數(shù)據(jù)安全性與復(fù)用性。通過ESB服務(wù)樞紐對其他業(yè)務(wù)系統(tǒng)開放標(biāo)準(zhǔn)化的服務(wù)接口，形成系統(tǒng)間的有效互動(dòng)。（5）數(shù)據(jù)集市云化架構(gòu)構(gòu)建云計(jì)算x86資源池，提供按需伸縮的基礎(chǔ)設(shè)施架構(gòu)；承載分布式MPP數(shù)據(jù)庫系統(tǒng)，提供平滑擴(kuò)展的強(qiáng)大并行計(jì)算能力。利用x86資源池的低成本，提供數(shù)據(jù)集市的所需要的易擴(kuò)展、分布式、高并發(fā)的數(shù)據(jù)計(jì)算能力；面向應(yīng)用存儲(chǔ)在線高熱度訪問、海量實(shí)時(shí)計(jì)算的數(shù)據(jù)。

2大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)解決的問題

大數(shù)據(jù)運(yùn)營管理信息系統(tǒng)平臺的應(yīng)用，解決了M運(yùn)營商原有平臺的相關(guān)問題，豐富了大數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)源，加強(qiáng)了數(shù)據(jù)分析能力，通過統(tǒng)一存儲(chǔ)和管理，打破了數(shù)據(jù)鴻溝，提高了系統(tǒng)效率。

2.1增加網(wǎng)絡(luò)數(shù)據(jù)采集，豐富大數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)源

運(yùn)營商產(chǎn)品包括傳統(tǒng)通信、上網(wǎng)、內(nèi)容和應(yīng)用。傳統(tǒng)通信有通話、短彩信、開關(guān)機(jī)和停復(fù)機(jī)。用戶上網(wǎng)途徑有3種：2G、3G、4G的手機(jī)上網(wǎng)方式；WLAN無線寬帶上網(wǎng)方式；有線寬帶上網(wǎng)方式。內(nèi)容和應(yīng)用有手機(jī)郵箱、手機(jī)游戲、手機(jī)視頻、手機(jī)音樂、手機(jī)電商和應(yīng)用商店等。通過在相應(yīng)的網(wǎng)絡(luò)上增加網(wǎng)絡(luò)信息采集器，實(shí)現(xiàn)數(shù)據(jù)采集。比如：針對通話，可以采集到的信息有主叫號碼、被叫號碼、主叫開始時(shí)間、被叫開始振鈴時(shí)間、被叫接通時(shí)間、主被叫掛機(jī)時(shí)間、主叫發(fā)起呼叫位置、被叫振鈴位置、被叫掛機(jī)位置、主叫掛機(jī)位置、呼叫轉(zhuǎn)移號碼、主叫手機(jī)類型、被叫手機(jī)類型和通話質(zhì)量。M運(yùn)營商增加了上述的各種產(chǎn)品的數(shù)據(jù)采集，每天采集數(shù)據(jù)量約30TB。這些數(shù)據(jù)的價(jià)值體現(xiàn)在可以用來指導(dǎo)網(wǎng)絡(luò)的維護(hù)和優(yōu)化，可以用來提高服務(wù)質(zhì)量，可以通過針對性的營銷提升效果，可以與第三方合作增加數(shù)據(jù)的挖掘價(jià)值。

2.2加強(qiáng)基礎(chǔ)數(shù)據(jù)分析，生成大數(shù)據(jù)次級數(shù)據(jù)字典

通過基礎(chǔ)數(shù)據(jù)分析，加工生成二級數(shù)據(jù)豐富數(shù)據(jù)字典，分析匯總指標(biāo)體系包含指標(biāo)3000多個(gè)，針對公司各部門各分公司和各業(yè)務(wù)產(chǎn)品訂制報(bào)表500多張。繼續(xù)以通話為例，為了指導(dǎo)和考核網(wǎng)絡(luò)維護(hù)與優(yōu)化工作，通過對全網(wǎng)所有通話行為的分析，提煉出如下指標(biāo)：呼叫接續(xù)時(shí)長=被叫開始振鈴時(shí)間-主叫開始時(shí)間，加上主叫所在位置聯(lián)合分析，可以對所有網(wǎng)絡(luò)小區(qū)的平均呼叫接續(xù)時(shí)長進(jìn)行統(tǒng)計(jì)分析，得出需要優(yōu)化的小區(qū)、派發(fā)優(yōu)化任務(wù)給維護(hù)部門、并可以跟蹤優(yōu)化效果；同樣呼叫接續(xù)時(shí)長、主叫位置、主叫手機(jī)類型聯(lián)合分析，可以得出手機(jī)和網(wǎng)絡(luò)配合情況，指導(dǎo)問題手機(jī)生產(chǎn)商進(jìn)行手機(jī)的質(zhì)量改進(jìn)。繼續(xù)以通話為例，為了指導(dǎo)和考核營銷部門的優(yōu)惠購機(jī)入網(wǎng)套餐銷售質(zhì)量，通過對一定時(shí)間區(qū)間內(nèi)各個(gè)渠道銷售的優(yōu)惠手機(jī)通話分析，提煉出如下指標(biāo)：渠道銷售終端次月活躍度=Count（主叫號碼&主叫手機(jī)類型in渠道a終端銷售庫）/sum（渠道a終端銷售庫）。這樣分析可以對渠道銷售質(zhì)量進(jìn)行指導(dǎo)和考核，并能有效發(fā)現(xiàn)渠道通過假銷售套取銷售傭金的欺詐行為。

2.3統(tǒng)一存儲(chǔ)和管理，打破數(shù)據(jù)鴻溝提高系統(tǒng)效率

M運(yùn)營商的大數(shù)據(jù)系統(tǒng)當(dāng)前存儲(chǔ)數(shù)據(jù)量超過30PB。在統(tǒng)一存儲(chǔ)和數(shù)據(jù)管理的基礎(chǔ)上，通過聯(lián)合關(guān)聯(lián)，把以前分散在各個(gè)信息系統(tǒng)中的數(shù)據(jù)匯聚拼接出用戶真正的全貌。通過泛在挖掘，把握單個(gè)用戶的真正需求，挖掘潛在用戶群的行為特征。系統(tǒng)能力增強(qiáng)的實(shí)時(shí)應(yīng)用，能及時(shí)地反應(yīng)到用戶服務(wù)上。

作者：趙恒 單位：中國移動(dòng)江蘇有限公司網(wǎng)絡(luò)部

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)應(yīng)用與高校后勤管理淺談

一、大數(shù)據(jù)豐富校園生活

每年9月都是高校迎新的日子，隨著信息化手段的進(jìn)一步發(fā)展，目前的高校迎新開始呈現(xiàn)出電子化等特點(diǎn)，不少學(xué)校不僅擁有專門的迎新網(wǎng)站，還將微信、APP等移動(dòng)互聯(lián)技術(shù)應(yīng)用到迎新當(dāng)中，過去繁瑣的報(bào)到流程已經(jīng)簡化為掃一掃條形碼，一切全搞定，有些高校甚至實(shí)現(xiàn)了網(wǎng)上選宿舍、手機(jī)一卡通等服務(wù)，這些電子化應(yīng)用極大方便了新生報(bào)到及融入校園。例如北京郵電大學(xué)今年首次嘗試用微信進(jìn)行迎新，學(xué)生通過添加北京郵電大學(xué)官方微信賬號，即可享受到校指引地圖、校車查詢、迎新辦理等服務(wù)。北郵官方微信賬號專門有一個(gè)“校園迎新”欄目，該欄目中有迎新辦理、新生指南、全景引導(dǎo)等多種校園訊息。此外，通過大數(shù)據(jù)和云計(jì)算等手段，還可以實(shí)現(xiàn)對人流量的控制。如在浴室、游泳館、自習(xí)室等地安裝人流監(jiān)控設(shè)備，出入的人數(shù)以及等待的人數(shù)都可以在網(wǎng)上或者微信上實(shí)時(shí)查詢，學(xué)生可以根據(jù)這些數(shù)據(jù)來決定是否去洗澡、游泳，以及該去哪個(gè)自習(xí)室上自習(xí)。

二、手機(jī)投票提升服務(wù)質(zhì)量

信息系統(tǒng)不僅能夠滿足標(biāo)準(zhǔn)化和精細(xì)化管理需求，還可以幫助后勤員工提升服務(wù)意識。隨著我國經(jīng)濟(jì)發(fā)展和人民生活水平提高，加之大學(xué)生群體中獨(dú)生子女比率提升，高校后勤服務(wù)對象消費(fèi)觀念更新，對后勤管理的服務(wù)質(zhì)量標(biāo)準(zhǔn)不斷提高，不僅要求吃得飽，還要滿足吃得好;不僅要求住得寬敞，還要滿足住得舒適。因此，不斷提升后勤服務(wù)質(zhì)量成為高校后勤管理的新需求。在傳統(tǒng)模式下，每學(xué)期可以請學(xué)生為后勤人員進(jìn)行打分。在信息化條件下，可以采用網(wǎng)上投票等手段。如今，在云計(jì)算和大數(shù)據(jù)的幫助下，還可以利用微博、微信等社交手段提升高校后勤管理服務(wù)質(zhì)量?，F(xiàn)在很多服務(wù)業(yè)都利用微信平臺對用戶進(jìn)行服務(wù)，高校后勤管理部門也可以借鑒這種手段，或者開發(fā)相應(yīng)的手機(jī)軟件，使學(xué)生可以對后勤服務(wù)進(jìn)行實(shí)時(shí)投票、投訴、反饋。例如可以每周對各個(gè)食堂的菜譜進(jìn)行投票，食堂可以根據(jù)學(xué)生的投票結(jié)果進(jìn)行調(diào)整。

三、以考促學(xué)提高人員素質(zhì)

可以利用信息化手段對后勤員工進(jìn)行培訓(xùn)。隨著各種社交軟件在人們中的普及，可以利用手機(jī)等終端對后勤員工進(jìn)行每周一考，或者每月一考，將后勤管理規(guī)范條例等考題以短信、手機(jī)軟件、甚至是社交工具的形式發(fā)送到后勤員工的手機(jī)上。考試并不是目的，而是一種手段。如果員工回答正確，可以有相應(yīng)的獎(jiǎng)勵(lì)。如果回答錯(cuò)誤，則將正確答案發(fā)送到員工的手機(jī)上，使其加深印象，達(dá)到以考促學(xué)的目的。

四、餐飲管理提升食堂精細(xì)化水平

食堂管理是學(xué)校后勤管理的一個(gè)重要組成部分，是學(xué)校教學(xué)、科研、師生生活的重要保障，而且學(xué)校食堂是非盈利部門，既不能牟利，還要搞好伙食，不僅吃好，還得健康。然而，在實(shí)際食堂管理中存在著很多問題，如食堂管理體制不完善，由于成本原因?qū)е虏似穯我?、員工素質(zhì)較低等，這些都制約著食堂的良好發(fā)展。信息化能夠幫助企業(yè)構(gòu)建標(biāo)準(zhǔn)化的流程和提升精細(xì)化管理水平，同樣信息系統(tǒng)也可以幫助學(xué)校食堂實(shí)現(xiàn)標(biāo)準(zhǔn)化和精細(xì)化管理。以物流配送為例，利用系統(tǒng)進(jìn)行原材料的配送、出庫、入庫登記、結(jié)算，可以加強(qiáng)采購組與各餐廳之間的信息溝通，提高了成本核算和存貨控制的工作效率和性。通過引進(jìn)餐飲管理系統(tǒng)，可以實(shí)現(xiàn)菜譜的標(biāo)準(zhǔn)化、采購流程的標(biāo)準(zhǔn)化、成本核算精細(xì)化，從而完善了成本控制、提高了溝通效率、加強(qiáng)了內(nèi)部管理。同時(shí)，方便快捷的數(shù)據(jù)傳輸和統(tǒng)計(jì)功能還可以為領(lǐng)導(dǎo)層做管理決策提供及時(shí)、的數(shù)字依據(jù)。此外，把信息管理系統(tǒng)引進(jìn)食堂管理中，不僅可以提高食堂的效益，結(jié)合市場合理制定食堂的飯、菜價(jià)格，而且還可以更好地進(jìn)行協(xié)調(diào)，統(tǒng)一管理，不斷優(yōu)化食堂管理。，高校后勤信息化建設(shè)并無標(biāo)準(zhǔn)模式可循，由于各個(gè)高校的規(guī)模、實(shí)力、發(fā)展水平不同，加上地區(qū)差異，使得我國高校后勤信息化建設(shè)的發(fā)展程度參差不齊。部分高校的后勤信息化建設(shè)還停滯在比較傳統(tǒng)、原始的管理和服務(wù)狀態(tài)，這種情況多出現(xiàn)于學(xué)生數(shù)量較少、資金保障不足的高校中。而少數(shù)高校的后勤服務(wù)管理，已走在信息化的最前沿，將后勤管理和業(yè)務(wù)集成到統(tǒng)一平臺上，實(shí)現(xiàn)了高效的管理和品質(zhì)的服務(wù)；而大部分高校僅停留在局部信息化的層面上，開發(fā)或引進(jìn)如資產(chǎn)管理、公寓管理、采購管理等熱門管理軟件，滿足其最迫切的管理需求。如公寓管理在信息化建設(shè)相對起步較快，較多學(xué)校應(yīng)用了公寓管理系統(tǒng)，實(shí)現(xiàn)了學(xué)生公寓的床位、人員、公寓設(shè)備、服務(wù)等的動(dòng)態(tài)管理。對此，各個(gè)高?？梢愿鶕?jù)自身需求，找到不同的切入點(diǎn)，為后勤管理引入信息化管理手段。同時(shí)，還有兩點(diǎn)需要注意。首先，在思想上，高校后勤管理服務(wù)也要順應(yīng)大勢，樹立移動(dòng)互聯(lián)網(wǎng)思維、創(chuàng)新性思維、人本化思維、精細(xì)化思維、簡約化思維、透明化思維、物聯(lián)網(wǎng)思維、大數(shù)據(jù)思維。例如，移動(dòng)后勤將是高校后勤現(xiàn)代化工作方式的體現(xiàn)。就目前來看，智能手機(jī)后勤APP軟件平臺還大有潛力可挖。其次，后勤管理服務(wù)創(chuàng)新重在“有點(diǎn)子”，要有思想火花的碰撞和靈感的激發(fā)，“想得到”才能“做得到”。

作者：高翊 單位：四川理工學(xué)院后勤管理處

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)應(yīng)用技術(shù)和潛在問題研究

大數(shù)據(jù)應(yīng)用的技術(shù)體系

1.云計(jì)算及其編程模型MapReduce

1）云計(jì)算簡述:大約從2007年下半年開始，云計(jì)算由于其能提供靈活動(dòng)態(tài)的IT平臺，服務(wù)質(zhì)量保障的計(jì)算環(huán)境以及可配置的軟件服務(wù)而成為熱門話題。文獻(xiàn)中給出了云計(jì)算的比較完整的定義：云計(jì)算一個(gè)大規(guī)模的由規(guī)模經(jīng)濟(jì)驅(qū)動(dòng)的分布式模型，位于其中的抽象的、虛擬的、動(dòng)態(tài)可擴(kuò)展的、可管理的計(jì)算能源、存儲(chǔ)、平臺、服務(wù)等通過因特網(wǎng)交付給外圍客戶。由上述云計(jì)算的定義我們知道，云計(jì)算首先得是大規(guī)模的、分布式的，少量的計(jì)算處理用不著云計(jì)算；其次，它是跟規(guī)模經(jīng)濟(jì)相關(guān)聯(lián)的，比較形象的說法是，云計(jì)算資源跟“電”和“水”一樣，是按需收費(fèi)的，并且是大規(guī)模式銷售的，通常在建立數(shù)據(jù)中心時(shí)會(huì)考慮成本因素；，它從廣義上說是給客戶的一種服務(wù)，可以包括提供存儲(chǔ)、計(jì)算等資源。云計(jì)算可以按服務(wù)的內(nèi)容和交付形式分為基礎(chǔ)設(shè)施即服務(wù)（IaaS）、平臺即服務(wù)（PaaS）、軟件即服務(wù)（SaaS）等。在單機(jī)芯片集成度已進(jìn)入極小尺度級別，指令級并行度提升也已接近極限的今天，縱向擴(kuò)展似乎已經(jīng)不夠現(xiàn)實(shí)，這也遠(yuǎn)遠(yuǎn)不能滿足大數(shù)據(jù)處理的要求，而云計(jì)算的要求比較寬松的允許異構(gòu)網(wǎng)絡(luò)的橫向擴(kuò)展，無疑給大數(shù)據(jù)處理帶來了方便。云計(jì)算能為大數(shù)據(jù)提供強(qiáng)大的存儲(chǔ)和計(jì)算能力，可以迅速、方便地為大數(shù)據(jù)提供服務(wù)，另一方面，大數(shù)據(jù)的處理需求也為云計(jì)算提供了更多更好地應(yīng)用場景。由此，云計(jì)算作為大數(shù)據(jù)的支撐技術(shù)而倍受業(yè)界關(guān)注。

2）MapReduce簡述:關(guān)系數(shù)據(jù)庫作為一門發(fā)展了近40年的主流數(shù)據(jù)管理技術(shù)，主要用于聯(lián)機(jī)事務(wù)處理（OLTP）應(yīng)用、聯(lián)機(jī)分析處理（OLAP）應(yīng)用和數(shù)據(jù)倉庫等，然而擴(kuò)展性方面的局限使得其在大數(shù)據(jù)時(shí)代遇到了極大障礙。2004年，谷歌公司提出的MapReduce技術(shù)，以其利用大規(guī)模廉價(jià)服務(wù)器以達(dá)到并行處理大數(shù)據(jù)的目的而倍受學(xué)術(shù)界和工業(yè)界的關(guān)注，廣泛應(yīng)用于機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等諸多領(lǐng)域?；贛apReduce的大數(shù)據(jù)分析處理研究也在不斷深入，MapReduce作為一種非關(guān)系數(shù)據(jù)庫的數(shù)據(jù)管理工具代表，克服了關(guān)系數(shù)據(jù)庫擴(kuò)展性方面的不足，將計(jì)算推向數(shù)據(jù)也迎合了大數(shù)據(jù)時(shí)代的內(nèi)在需要，成為大數(shù)據(jù)處理的基本工具。而Hadoop作為模仿MapReduce而實(shí)現(xiàn)的一個(gè)云計(jì)算開源平臺，目前已成為最為流行的大數(shù)據(jù)處理平臺。MapReduce對于大數(shù)據(jù)處理的基本構(gòu)思是分而治之，將大數(shù)據(jù)任務(wù)分解為多個(gè)子任務(wù)，將得到的各個(gè)子結(jié)果組合并成為最終結(jié)果。MapReduce對大數(shù)據(jù)的處理可抽象為兩個(gè)主要階段，Map階段對初始的鍵-值（Key/Value）對進(jìn)行處理，產(chǎn)生一系列的中間結(jié)果Key/Value對，然后通過Reduce階段合并所有具有相同Key值的Key/Value對，得到最終結(jié)果。MapReduce對數(shù)據(jù)進(jìn)行處理的應(yīng)用思路如圖2所示。

2.大數(shù)據(jù)獲取技術(shù)

每天都有大量數(shù)據(jù)產(chǎn)生，并且這些數(shù)據(jù)通過不同的途徑，以不同的形式被接收和記錄。本節(jié)將簡單介紹幾種常見的大數(shù)據(jù)獲取途徑。

（1）傳感器技術(shù):近年來，傳感器技術(shù)蓬勃發(fā)展，無論是道路交通方面，還是醫(yī)療機(jī)構(gòu)方面甚至是個(gè)人工作和生活場所，傳感器無處不在，大量的數(shù)據(jù)源源不斷地被傳感器所接收?？梢哉f，傳感器的迅速普及，為大數(shù)據(jù)的獲取提供了有力地保障。傳感器技術(shù)的快速發(fā)展，也促進(jìn)了傳感器網(wǎng)絡(luò)的逐步完善。由于構(gòu)建傳感器網(wǎng)絡(luò)的設(shè)備、數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)等方面的差異性，網(wǎng)絡(luò)孤島普遍存在，如何解決異構(gòu)網(wǎng)絡(luò)所帶來的數(shù)據(jù)共享問題一度成為研究者們面臨的極大挑戰(zhàn)。不過隨后美國國家技術(shù)標(biāo)準(zhǔn)局（NIST）和IEEE共同組織了關(guān)于制訂智能傳感器接口和連接網(wǎng)絡(luò)通用標(biāo)準(zhǔn)的研討會(huì)，產(chǎn)生了IEEE1451傳感器/執(zhí)行器、智能變送器接口標(biāo)準(zhǔn)協(xié)議族，試圖解決傳感器市場上總線不兼容的問題。2005年，開放地理空間聯(lián)盟（OGC）提出了一種新型的傳感器Web整合框架標(biāo)準(zhǔn)，讓用戶能透過Web的界面來進(jìn)行節(jié)點(diǎn)搜尋、數(shù)據(jù)獲取及節(jié)點(diǎn)控制功能。文獻(xiàn)[12]對無線傳感器網(wǎng)路的路由協(xié)議進(jìn)行了研究，指出多路徑路由發(fā)展的趨勢和挑戰(zhàn)，而文獻(xiàn)[13]則從生物學(xué)、商業(yè)、環(huán)境、醫(yī)療、工業(yè)以及軍事等領(lǐng)域探討無線傳感器的重要用途。

（2）Web2.0技術(shù):“Web2.0”的概念2004年始于出版社經(jīng)營者O'Reilly和MediaLiveInternational之間的一場頭腦風(fēng)暴論壇，所謂的Web2.0是指互聯(lián)網(wǎng)上的每一個(gè)用戶的身份由單純的“讀者”進(jìn)化為了“作者”以及“共同建設(shè)人員”，由被動(dòng)地接收互聯(lián)網(wǎng)信息向主動(dòng)創(chuàng)造互聯(lián)網(wǎng)信息發(fā)展。Web2.0伴隨著博客、百科全書以及社交網(wǎng)絡(luò)等多種應(yīng)用技術(shù)的發(fā)展，大量的網(wǎng)頁點(diǎn)擊與交流促使了大數(shù)據(jù)的形成，給人類日常生活方式帶來了極大的變革。

（3）條形碼技術(shù):條形碼的使用給零售業(yè)帶來了革命性的改變，通過內(nèi)嵌ID等信息，條形碼在被掃描之后，快速在數(shù)據(jù)庫中進(jìn)行ID匹配，便很快就獲知該產(chǎn)品的價(jià)格、性能、產(chǎn)商等具體信息，條形碼被廣泛應(yīng)用于零售商店的收銀以及車站售票等業(yè)務(wù)中，每天大量的商品銷售記錄通過掃描條形碼而產(chǎn)生。近年來的智能手機(jī)的盛行，手機(jī)應(yīng)用如微信中的二維條形碼也隨處可見，文獻(xiàn)[14]中設(shè)計(jì)了一種應(yīng)用于手機(jī)應(yīng)用的彩色二維條形碼，改善了用戶對應(yīng)用程序的感受。

（4）RFID技術(shù):RFID與條形碼相比，擴(kuò)展了操作距離，且標(biāo)簽的使用比條形碼容易，攜帶一個(gè)可移動(dòng)的閱讀器便可收集到標(biāo)簽的信息，被廣泛應(yīng)用于倉庫管理和清單控制方面。RFID標(biāo)簽可以分為兩類，一類是被動(dòng)的，如今被廣泛使用，其造價(jià)便宜，但是沒有內(nèi)部電源，依靠閱讀器的射頻波產(chǎn)生能量，操作距離也很近，因而其適用性也受到了制約；另一類是主動(dòng)的，其擁有內(nèi)部電源，因此造價(jià)較貴，但是操作距離遠(yuǎn)，存儲(chǔ)能力強(qiáng)，因而適用范圍廣，在未來這種標(biāo)簽會(huì)受到普遍歡迎的。學(xué)術(shù)界在RFID技術(shù)的研究上已經(jīng)取得巨大的進(jìn)步。較早的工作重心大多集中在對標(biāo)簽進(jìn)行搜集的問題上，即盡可能快地在大量標(biāo)簽中搜集他們的ID，而這方面較大的挑戰(zhàn)是解決多標(biāo)簽同時(shí)競爭較窄的信道引起沖突的問題。研究者們提出了兩類解決思路，即基于ALOHA的協(xié)議[15-17]和基于樹的協(xié)議[18-20]。而其他的工作專注于標(biāo)簽評估問題，即使用統(tǒng)計(jì)學(xué)的方法來評估一個(gè)龐大系統(tǒng)中的標(biāo)簽數(shù)目[21-23]。總之，RFID由于具有操作范圍廣泛、性能穩(wěn)定以及高存儲(chǔ)能力等特性，在工業(yè)界中將具有巨大的潛力。

（5）移動(dòng)終端技術(shù):隨著科學(xué)技術(shù)的發(fā)展，移動(dòng)終端諸如手機(jī)、筆記本、平板電腦等隨處可見，加上網(wǎng)絡(luò)的寬帶化發(fā)展以及集成電路的升級，人類已經(jīng)步入了真正的移動(dòng)信息時(shí)代。如今的移動(dòng)終端已經(jīng)擁有極強(qiáng)的處理能力，通信、定位以及掃描功能應(yīng)有盡有，大量的移動(dòng)軟件程序被開發(fā)并應(yīng)用，人們無時(shí)無刻不在接收和發(fā)送信息。目前，智能手機(jī)等移動(dòng)設(shè)備的數(shù)量仍然在迅猛增長中，移動(dòng)社交網(wǎng)絡(luò)也會(huì)日益龐大和復(fù)雜，海量的數(shù)據(jù)穿梭其中，針對移動(dòng)數(shù)據(jù)的處理也將越來越復(fù)雜。

3.文件系統(tǒng)

文件系統(tǒng)是支撐上層應(yīng)用的基礎(chǔ)，本小節(jié)將簡要介紹面向大數(shù)據(jù)處理的文件系統(tǒng)如谷歌分布式文件系統(tǒng)（GFS），以及一些其他的分布式文件系統(tǒng)。

1）分布式文件系統(tǒng)GFS:谷歌自行開發(fā)的文件系統(tǒng)GFS[24]，是一個(gè)基于分布式集群的大型的分布式文件系統(tǒng)，它為MapReduce計(jì)算框架提供底層數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)性。GFS采用廉價(jià)普通磁盤，并把磁盤數(shù)據(jù)出錯(cuò)視為常態(tài)，其自動(dòng)多數(shù)據(jù)備份存儲(chǔ)也增加了性。GFS基本構(gòu)架中，GFSMaster保存了GFS文件系統(tǒng)的3種元數(shù)據(jù)：命名空間、Chunk與文件名的映射表、Chunk副本的位置信息，前兩個(gè)數(shù)據(jù)通過操作日志提供容錯(cuò)處理能力，第3個(gè)數(shù)據(jù)存儲(chǔ)在ChunkServer上，可在Master失效時(shí)快速恢復(fù)Master上的元數(shù)據(jù)；GFSChunkServer是用來保存大量實(shí)際數(shù)據(jù)的數(shù)據(jù)服務(wù)器。GFS基本工作過程如下：（1）在程序運(yùn)行前，數(shù)據(jù)已經(jīng)存儲(chǔ)在GFS文件系統(tǒng)中，程序執(zhí)行時(shí)應(yīng)用程序會(huì)告訴GFSServer所要訪問的文件名或者數(shù)據(jù)塊索引是什么。（2）GFSServer根據(jù)文件名和數(shù)據(jù)塊索引在其文件目錄空間中查找和定位該文件或數(shù)據(jù)塊，并將這些位置信息回送給應(yīng)用程序。（3）應(yīng)用程序根據(jù)GFSServer返回的具體Chunk數(shù)據(jù)塊位置信息，直接訪問相應(yīng)的ChunkServer。（4）應(yīng)用程序直接讀取指定位置的數(shù)據(jù)進(jìn)行計(jì)算處理。后來谷歌對GFS進(jìn)行了改進(jìn)，并對新版本命名為Colosuss，主要對原有的單點(diǎn)故障、海量小文件存儲(chǔ)等諸多問題進(jìn)行了修正和改進(jìn)，使得系統(tǒng)更加安全和健壯。

2）其他文件系統(tǒng):除了谷歌的GFS，業(yè)界其他針對大數(shù)據(jù)存儲(chǔ)需求的文件系統(tǒng)也層出不窮。Hadoop的文件系統(tǒng)HDFS[25]作為模仿GFS的開源實(shí)現(xiàn)，同樣也為Hadoop的底層數(shù)據(jù)存儲(chǔ)支撐，提供數(shù)據(jù)的高性和容錯(cuò)能力，擁有良好的擴(kuò)展性和高速數(shù)據(jù)訪問性；SUN公司開發(fā)的Lustre[26]是一個(gè)大規(guī)模的、安全的、具備高可用性的開源集群文件系統(tǒng)，美國能源部在此基礎(chǔ)上實(shí)現(xiàn)了新一代的集群系統(tǒng)，顯著提高了輸入輸出速度，已在高校、國家實(shí)驗(yàn)室和超級計(jì)算研究中心產(chǎn)生了深遠(yuǎn)影響；Facebook推出的針對海量小文件的文件系統(tǒng)Haystack[27]有效地解決了海量圖片存儲(chǔ)問題，它實(shí)現(xiàn)多個(gè)邏輯文件共享一個(gè)物理文件功能，并且增加緩存層，部分元數(shù)據(jù)直接被加載到了內(nèi)存。

4.數(shù)據(jù)庫系統(tǒng)

1）上在索引、數(shù)據(jù)壓縮、可視化等技術(shù)方面的不斷擴(kuò)展，使其具有了高性能的優(yōu)勢。但是諸多因素導(dǎo)致了其擴(kuò)展性面臨嚴(yán)峻的挑戰(zhàn)，主要體現(xiàn)在：（1）單機(jī)方面，并行數(shù)據(jù)庫基于高端硬件設(shè)計(jì)，認(rèn)為查詢失敗是特例且糾錯(cuò)復(fù)雜，不符合大規(guī)模集群失效常態(tài)的特性；（2）集群方面，并行數(shù)據(jù)庫對異構(gòu)網(wǎng)絡(luò)支持有限，各節(jié)點(diǎn)性能不均，容易引起“木桶效應(yīng)”?？傊?，并行數(shù)據(jù)庫的擴(kuò)展性方面的缺陷使其面臨大數(shù)據(jù)的處理往往力不從心。

2）MapReduce分布式數(shù)據(jù)庫BigTable:由前述知，并行數(shù)據(jù)庫由于擴(kuò)展性方面的缺陷無法勝任大數(shù)據(jù)的處理工作，以谷歌公司推出的BigTable為代表的未采用關(guān)系模型的NoSQL（NotonlySQL）數(shù)據(jù)庫由此誕生，NoSQL數(shù)據(jù)庫具有模式自由、簡易備份、接口簡單和支持海量數(shù)據(jù)等特性，對于大數(shù)據(jù)的存儲(chǔ)和處理十分有效。谷歌在GFS之上又設(shè)計(jì)了MapReduce的分布式數(shù)據(jù)庫BigTable[28]，為應(yīng)用程序提供了比單純地文件系統(tǒng)更方便、更高層的數(shù)據(jù)操作能力，BigTable提供了一定粒度的結(jié)構(gòu)化數(shù)據(jù)操作能力，主要解決一些大型媒體數(shù)據(jù)（Web文檔、圖片等）的結(jié)構(gòu)化存儲(chǔ)問題。BigTable主要是一個(gè)分布式多維表，表中數(shù)據(jù)通過行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳來進(jìn)行索引和查詢定位，并且BigTable對存儲(chǔ)在表中的數(shù)據(jù)不做任何解釋，一律視為字串，具體數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)由用戶自行定義。BigTable的基本構(gòu)架如圖3所示，BigTable中的數(shù)據(jù)均以子表形式保存在子表服務(wù)器上，最終以GFS文件形式存儲(chǔ)在GFS文件系統(tǒng)中。客戶端程序直接和子表服務(wù)器通信，Chubby服務(wù)器完成對子表服務(wù)器的狀態(tài)監(jiān)控，主服務(wù)器通過查看Chubby服務(wù)器目錄來終止出現(xiàn)故障的子服務(wù)器并將其數(shù)據(jù)轉(zhuǎn)移至其他子服務(wù)器。另外，主服務(wù)器還完成子表的創(chuàng)建和負(fù)載均衡等操作。當(dāng)然，由于MapReduce將本來應(yīng)由數(shù)據(jù)庫管理系統(tǒng)完成的諸如文件存儲(chǔ)格式的設(shè)計(jì)、模式信息的記錄、數(shù)據(jù)處理算法的實(shí)現(xiàn)等工作轉(zhuǎn)移給了程序員，從而導(dǎo)致程序員負(fù)擔(dān)過重。另外，MapReduce是面向非結(jié)構(gòu)化的大規(guī)模數(shù)據(jù)處理的，往往是一次處理，因而同等硬件條件下的性能也比并行數(shù)據(jù)庫低[29]。

3）數(shù)據(jù)庫的深層探討：并行數(shù)據(jù)庫具有高性能的優(yōu)勢，但擴(kuò)展性問題阻礙了其在大數(shù)據(jù)處理上的進(jìn)一步發(fā)展，而MapReduce性能和易用性上提升空間較大，因此目前兩種方案均不理想。業(yè)界經(jīng)過長時(shí)間的探討，基本一致認(rèn)為并行數(shù)據(jù)庫和MapReduce各取其長，相互融合，也許是一種不錯(cuò)的道路[30]。由此誕生了并行數(shù)據(jù)庫主導(dǎo)型、MapReduce主導(dǎo)型以及并行數(shù)據(jù)庫與MapReduce集成型3類大數(shù)據(jù)處理數(shù)據(jù)庫。

（1）并行數(shù)據(jù)庫主導(dǎo)：型這類數(shù)據(jù)庫的基本思路是在并行數(shù)據(jù)庫上增加MapReduce的大數(shù)據(jù)處理能力，將數(shù)據(jù)分析過程轉(zhuǎn)移到數(shù)據(jù)庫內(nèi)進(jìn)行，使得原系統(tǒng)同時(shí)獲得SQL的易用性與MapReduce的開放性。但是，并行數(shù)據(jù)庫的擴(kuò)展能力與容錯(cuò)能力并未得到改善，典型的系統(tǒng)如Greenplum[31]、Asterdata[32]等。

（2）MapReduce主導(dǎo)型：這類數(shù)據(jù)庫的基本思路是利用關(guān)系數(shù)據(jù)庫的SQL接口和模式支持技術(shù)改善MapReduce的易用性。通過SQL接口，可以很簡便的完成查詢分析等操作，大大減輕了程序員的負(fù)擔(dān)，但MapReduce的性能方面仍有待提升，典型的系統(tǒng)如Facebook的Hive[33]和Yahoo！的PigLatin[34]等。

（3）并行數(shù)據(jù)庫與MapReduce集成型：這類數(shù)據(jù)庫兼顧并行數(shù)據(jù)庫與MapReduce的長處，主要分兩種思路：按功能將并行數(shù)據(jù)庫與MapReduce分別設(shè)計(jì)到相應(yīng)的部位以形成一個(gè)完整系統(tǒng)，以及整合并行數(shù)據(jù)庫和MapReduce這兩套完整的系統(tǒng)以構(gòu)成一個(gè)混合系統(tǒng)。及時(shí)種思路典型代表是耶魯大學(xué)提出的HadoopDB[35]，它將Hadoop作為調(diào)度層和網(wǎng)絡(luò)溝通層，關(guān)系數(shù)據(jù)庫作為執(zhí)行引擎，盡可能地將查詢壓入數(shù)據(jù)庫層處理，Hadoop框架的應(yīng)用可以獲得較好的容錯(cuò)性和對異構(gòu)環(huán)境的支持，庫內(nèi)數(shù)據(jù)查詢的使用則可獲得關(guān)系數(shù)據(jù)庫的高性能優(yōu)勢。第二種思路的代表是Vertica數(shù)據(jù)庫[36]，它擁有兩套獨(dú)立完整的系統(tǒng)，Hadoop負(fù)責(zé)非結(jié)構(gòu)化數(shù)據(jù)和耗時(shí)的批量復(fù)雜數(shù)據(jù)的處理，Vertica負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)的處理以及高性能的交互式查詢。當(dāng)然，這些思路仍非理想的方案，例如，HadoopDB喪失了MapReduce較低的預(yù)處理和維護(hù)代價(jià)等，Vertica則依舊存在Vertica擴(kuò)展性問題和Hadoop的性能問題。因此，在大數(shù)據(jù)面前，數(shù)據(jù)庫系統(tǒng)的研究還有很長的路要走，我們在總結(jié)傳統(tǒng)的數(shù)據(jù)庫經(jīng)驗(yàn)的同時(shí)，還要積極了解新興的數(shù)據(jù)庫系統(tǒng)，才能更好地促進(jìn)適應(yīng)現(xiàn)今大數(shù)據(jù)發(fā)展的優(yōu)良數(shù)據(jù)庫的面世。

5.大數(shù)據(jù)分析技術(shù)

用于大數(shù)據(jù)集的分析方法很多，包括統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等各個(gè)領(lǐng)域的技術(shù)。本小節(jié)將簡要介紹其中幾種典型的大數(shù)據(jù)分析技術(shù)，當(dāng)然，這些技術(shù)同樣適用于少量數(shù)據(jù)集的分析，但大數(shù)據(jù)集環(huán)境下的應(yīng)用無疑會(huì)發(fā)揮更加明顯的作用。

（1）A/B測試：傳統(tǒng)的A/B測試，是一種把各組變量隨機(jī)分配到特定的單變量處理水平，把一個(gè)或多個(gè)測試組的表現(xiàn)與控制組相比較，進(jìn)行測試的方式?，F(xiàn)在的A/B測試主要用于在Web分析方面，例如通過對比統(tǒng)計(jì)新舊網(wǎng)頁的用戶轉(zhuǎn)化率，來掌握兩種設(shè)計(jì)的優(yōu)劣等。大數(shù)據(jù)時(shí)代的到來為大規(guī)模的測試提供了便利，提高了A/B測試的性。由于移動(dòng)設(shè)備及技術(shù)的迅猛發(fā)展，移動(dòng)分析也逐漸成為A/B測試增長最快的一個(gè)領(lǐng)域。

（2）聚類分析聚類分析：

指將物理或抽象的集合分組成為由類似的對象組成的多個(gè)類的分析過程。聚類分析是一種探索性的數(shù)據(jù)挖掘分析方法，不需事先給出劃分的類的具體情況，主要用在商業(yè)、生物學(xué)、因特網(wǎng)等多個(gè)領(lǐng)域中。對于大數(shù)據(jù)的分析處理，通過聚類可以簡化后續(xù)處理過程，并且可以發(fā)現(xiàn)其中隱藏的某些規(guī)則，充分發(fā)揮了大數(shù)據(jù)的作用。

（3）集成學(xué)習(xí)：集成學(xué)習(xí)指的是使用一系列“學(xué)習(xí)器”進(jìn)行學(xué)習(xí)，并使用某種規(guī)則把各學(xué)習(xí)結(jié)果進(jìn)行整合從而獲得比單個(gè)“學(xué)習(xí)器”更好的學(xué)習(xí)效果的一種機(jī)器學(xué)習(xí)方法。對于大數(shù)據(jù)的集成學(xué)習(xí)，可以更好地提煉和把握其中的本質(zhì)屬性。

（4）神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型，它依靠系統(tǒng)的復(fù)雜程度，通過調(diào)整內(nèi)部大量節(jié)點(diǎn)之間相互連接的關(guān)系，來達(dá)到處理信息的目的。神經(jīng)網(wǎng)絡(luò)作為一門新興的交叉學(xué)科，是人類智能研究的重要組成部分，已成為腦科學(xué)、神經(jīng)科學(xué)、認(rèn)知科學(xué)、心理學(xué)等共同關(guān)注的焦點(diǎn)。神經(jīng)網(wǎng)絡(luò)對于大數(shù)據(jù)的并行處理，無疑也是一種比較可行的方式。

（5）自然語言處理：自然語言處理是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向，它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法。人與計(jì)算機(jī)的通信交流往往存在很多歧義，如何消除這些歧義，將帶有潛在歧義的自然語言輸入轉(zhuǎn)換成某種無歧義的計(jì)算機(jī)內(nèi)部表示，是自然語言處理的主要問題。大數(shù)據(jù)時(shí)代意味著有大量的知識和推理來完成消除歧義現(xiàn)象的可能，這也給自然語言處理帶來了新的挑戰(zhàn)和機(jī)遇。大數(shù)據(jù)分析技術(shù)還有很多，例如模式識別、空間分析、遺傳算法等等，并且研究者們還在不斷地尋找新的更有效地分析方法，另外通過結(jié)合多個(gè)方法來實(shí)現(xiàn)數(shù)據(jù)分析往往也能達(dá)到非常明顯的效果。

6.大數(shù)據(jù)的可視化

面對海量的數(shù)據(jù)，如何將其清晰明朗地展現(xiàn)給用戶是大數(shù)據(jù)處理所面臨的巨大挑戰(zhàn)。無論是學(xué)術(shù)界還是工業(yè)界，對大數(shù)據(jù)進(jìn)行可視化的研究從未停止。通過將大數(shù)據(jù)圖形化、圖像化以及動(dòng)畫化等展示出來的技術(shù)和方法不斷出現(xiàn)，本節(jié)將介紹幾種典型的案例。

（1）宇宙星球圖：俄羅斯工程師RuslanEnikeev根據(jù)2011年底的互聯(lián)網(wǎng)數(shù)據(jù)，將196個(gè)國家的35萬個(gè)網(wǎng)站數(shù)據(jù)整合起來，并根據(jù)200多萬個(gè)網(wǎng)站鏈接將這些“星球”通過“關(guān)系鏈”聯(lián)系起來組成了因特網(wǎng)的“宇宙星球圖”[37]。不同顏色代表不同的國家，每個(gè)“星球”的大小根據(jù)其網(wǎng)站流量來決定，而“星球”距離遠(yuǎn)近根據(jù)鏈接出現(xiàn)的頻率、強(qiáng)度等決定。類似地，對于具有復(fù)雜結(jié)構(gòu)的社交網(wǎng)絡(luò)，“宇宙星球圖”同樣也十分適用，可以根據(jù)個(gè)人的知名度、人與人之間的聯(lián)系等進(jìn)行繪畫星球圖。

（2）標(biāo)簽云：“標(biāo)簽云”的設(shè)計(jì)思路主要是，對于不同的對象用標(biāo)簽來表示，標(biāo)簽的排列順序一般依照字典排序，按照熱門程度確定字體的大小和顏色。例如對于某個(gè)文檔，出現(xiàn)頻度越高的單詞將會(huì)越大，反之越小。這樣，便可以根據(jù)字母表順序和字體的大小來對各單詞的具體情況一目了然。文獻(xiàn)[38]通過將地圖上的各個(gè)物理位置根據(jù)描述的具體程度用“標(biāo)簽云”表示，使得用戶對各個(gè)場所的知名程度有個(gè)清晰的認(rèn)識。

（3）歷史流圖：文獻(xiàn)[39]提出了一種用于可視化文檔編輯歷史的“歷史流圖”，對于一個(gè)面向大眾的開放文檔，編輯和查閱都是自由的，用戶可以隨時(shí)自由的對文檔進(jìn)行增加或刪除操作?！皻v史流圖”中，橫坐標(biāo)軸表示時(shí)間，縱坐標(biāo)軸表示作者，不同作者的不同內(nèi)容對應(yīng)中間部分不同顏色和長度，隨著時(shí)間的推移，文檔的內(nèi)容不斷變化，作者也在不斷增加中。通過對“歷史流圖”的觀察，很容易看出各人對該文檔的貢獻(xiàn)，當(dāng)然，除了發(fā)現(xiàn)有人對文檔給出有益的編輯外，也存在著一些破壞文檔、刪除內(nèi)容的人，但總有逐漸被修復(fù)回去的規(guī)律。像維基百科等的詞條注釋文檔，“歷史流圖”的可視化效果十分明顯。關(guān)于大數(shù)據(jù)可視化的方面努力還有很多，不同的“源數(shù)據(jù)”有不同的可視化策略，大數(shù)據(jù)可視化的研究工作仍有待進(jìn)行下去。

大數(shù)據(jù)應(yīng)用所面臨的問題

大數(shù)據(jù)時(shí)代面臨的首要問題是人力和財(cái)力問題，IDC分析稱，大數(shù)據(jù)相關(guān)人才的欠缺將會(huì)成為影響大數(shù)據(jù)市場發(fā)展的一個(gè)重要因素。據(jù)調(diào)查，僅美國就缺少大約14萬到19萬的具有深層次數(shù)據(jù)分析技巧的專業(yè)技術(shù)人員以及150萬針對大數(shù)據(jù)的經(jīng)理人。據(jù)阿里巴巴稱，雖然其各類業(yè)務(wù)產(chǎn)生的數(shù)據(jù)為數(shù)據(jù)分析創(chuàng)造了非常好的基礎(chǔ)條件，然而卻招聘不到合適的數(shù)據(jù)科學(xué)家而影響了研發(fā)進(jìn)展。高德納公司預(yù)測，到2015年，全球?qū)⑿略?40萬個(gè)與大數(shù)據(jù)相關(guān)的工作崗位，且會(huì)有25%的組織設(shè)立首席數(shù)據(jù)官職位。其中有190萬個(gè)工作崗位將在美國，每一個(gè)與大數(shù)據(jù)有關(guān)的IT工作，都將在技術(shù)行業(yè)外部再建3個(gè)工作崗位，這將在美國再創(chuàng)建將近600萬個(gè)工作崗位。數(shù)據(jù)科學(xué)家是復(fù)合型人才，是對數(shù)學(xué)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)等多方面知識的綜合掌控，能對數(shù)據(jù)做出預(yù)測性的、有價(jià)值的分析。因此，各國對大數(shù)據(jù)人才的培養(yǎng)工作應(yīng)當(dāng)快速有效地著手執(zhí)行。大數(shù)據(jù)的接收和管理也需要大量的基礎(chǔ)設(shè)施和能源，無論是傳感器還是數(shù)據(jù)中心的服務(wù)器，都需要大量的硬件投入和能源消耗，這也就意味著大數(shù)據(jù)處理的財(cái)力需求極為可觀。如何處理好大數(shù)據(jù)產(chǎn)生的資金投入比例，也成為了各國和各企業(yè)決策者面臨的難題。另外，大數(shù)據(jù)還將面臨嚴(yán)重的安全和隱私問題。首先，隨處可見的傳感器和攝像頭等設(shè)備，會(huì)監(jiān)視并記錄人們位置等信息，通過海量數(shù)據(jù)的分析，便可輕易了解人們的行蹤規(guī)律，從而可能給人們帶來生命和財(cái)產(chǎn)安全；其次，“云設(shè)施”的經(jīng)濟(jì)劃算，推動(dòng)了僵尸網(wǎng)絡(luò)的發(fā)展及海量并行處理破解密碼系統(tǒng)的可能性；，由于云計(jì)算要求我們放棄自主計(jì)算能力，當(dāng)整個(gè)社會(huì)的信息，包括個(gè)人信息、商業(yè)信息都存儲(chǔ)在巨頭們提供的“云”上時(shí)，我們只能寄希望于這些巨頭們都是道德高尚的圣人，否則我們將面臨災(zāi)難性損失。面對這些安全威脅，學(xué)術(shù)界和工業(yè)界也都紛紛提出自己策略。針對基于位置服務(wù)的安全性問題，文獻(xiàn)[40]提出了一種k-匿名方法，即將自己與周圍k-1個(gè)用戶組成一個(gè)范圍集合性對象來請求位置服務(wù)，從而模糊了自己的位置。文獻(xiàn)[41]提出的策略是，搜集周圍的k-1個(gè)用戶的位置信息，并以其中的某一個(gè)的名義發(fā)送位置服務(wù)請求，從而也達(dá)到隱藏坐標(biāo)的目的。Roy等人將集中信息流控制和差分隱私保護(hù)等技術(shù)融入云中的數(shù)據(jù)生成與計(jì)算階段，提出了一種隱私保護(hù)系統(tǒng)Airavat[42]，防止MapReduce計(jì)算過程中將非授權(quán)的隱私數(shù)據(jù)泄露出去，并且支持對計(jì)算結(jié)果的自動(dòng)除密。Mowbray等人在數(shù)據(jù)存儲(chǔ)和使用階段使用一種基于客戶端的隱私管理工具[43]，提供以用戶為中心的信任模型，幫助用戶控制自己的敏感信息在云端的存儲(chǔ)和使用。蘋果最近申請了一項(xiàng)專利，叫做電子分析污染技術(shù)，能夠?qū)⒂脩粼谔O果產(chǎn)品上產(chǎn)生的行為數(shù)據(jù)進(jìn)行污染和混淆，讓其他廠商獲取不到真正的用戶數(shù)據(jù)。這類信息安全保護(hù)的思路是：當(dāng)各種加密措施無法徹底保護(hù)個(gè)人信息時(shí)，不如將大量的垃圾信息、錯(cuò)誤信息充斥在真實(shí)有效的信息之中，讓竊取者不得不耗費(fèi)巨大的成本從中分析。高德納公司分析指出，大數(shù)據(jù)安全是一場必要的斗爭，并且大數(shù)據(jù)本身更可用來提高企業(yè)安全。因?yàn)榻鉀Q安全問題的前提是，企業(yè)必須先確定正常、非惡意活動(dòng)是啥樣子的，然后查找與之不同的活動(dòng)；從而，發(fā)現(xiàn)惡意活動(dòng)，基于大數(shù)據(jù)來建立一個(gè)基線標(biāo)準(zhǔn)就很好地達(dá)到了這個(gè)目的。

，大數(shù)據(jù)的出現(xiàn)會(huì)促使IT相關(guān)行業(yè)的生態(tài)環(huán)境和產(chǎn)業(yè)鏈的變革。傳統(tǒng)的網(wǎng)絡(luò)公司運(yùn)營模式是在自己的服務(wù)器上來管理若干產(chǎn)品和服務(wù)，并通過網(wǎng)絡(luò)連線提供給用戶終端，產(chǎn)生的數(shù)據(jù)歸公司獨(dú)有。然而，在大數(shù)據(jù)時(shí)代，這種模式已經(jīng)難以勝任，服務(wù)公司往往會(huì)選擇租賃第三方的開放平臺來運(yùn)營自己的業(yè)務(wù)。這樣，用戶提供數(shù)據(jù)，服務(wù)方處理數(shù)據(jù)，但數(shù)據(jù)的實(shí)際存儲(chǔ)地卻在第三方。大數(shù)據(jù)影響的IT產(chǎn)業(yè)鏈大致包括數(shù)據(jù)資源、應(yīng)用軟件、基礎(chǔ)設(shè)施三大部分。數(shù)據(jù)資源方面，各大信息中心、通信運(yùn)營商等積極研制和引用大數(shù)據(jù)技術(shù)，挖掘大量數(shù)據(jù)分析相關(guān)人才，數(shù)據(jù)資源的收集和開發(fā)產(chǎn)業(yè)逐步完善；應(yīng)用軟件方面，隨著高性能云平臺的出現(xiàn)，云應(yīng)用軟件也不斷被開發(fā)出來，用戶再也不必?zé)缽?fù)雜的軟件安裝和配置過程，便可以輕松享受各種網(wǎng)絡(luò)應(yīng)用服務(wù)；基礎(chǔ)設(shè)施方面，大數(shù)據(jù)對硬件的依賴，迫使高性能硬盤、低能耗服務(wù)器、小巧化個(gè)人終端等行業(yè)的快速發(fā)展。另外，大數(shù)據(jù)技術(shù)的日益成熟也會(huì)促使跨行業(yè)經(jīng)營模式的發(fā)展。第三方可以將用戶的各種服務(wù)請求進(jìn)行打包，然后利用大數(shù)據(jù)分析來尋求好的服務(wù)商的組合以反饋給用戶。對服務(wù)提供方來說，借助第三方可以更好地推銷自己的服務(wù)。而對第三方而言，可以獲得大量的分析數(shù)據(jù)，其中的利益也是可觀的，真正的實(shí)現(xiàn)了“雙贏”，同時(shí)也使得用戶獲得更好的服務(wù)體驗(yàn)。

結(jié)束語

大數(shù)據(jù)時(shí)代挑戰(zhàn)與機(jī)遇并存，正確處理好大數(shù)據(jù)，不僅符合企業(yè)的利益，也給人們?nèi)粘Ｉ顜順O大的便利。本文對大數(shù)據(jù)的基本概念、處理流程以及相關(guān)技術(shù)進(jìn)行了簡要的探討，并分析了大數(shù)據(jù)可能帶來的一些問題及應(yīng)對策略。云計(jì)算目前是處理大數(shù)據(jù)的基礎(chǔ)技術(shù)，但其在安全和隱私方面的保障工作仍讓不少人感到懷疑，根本原因還是個(gè)人和商業(yè)的信息都存放在遠(yuǎn)端的巨頭們提供的看不見的“云”上。大數(shù)據(jù)時(shí)代已經(jīng)到來，但是，相應(yīng)的技術(shù)體系和社會(huì)保障仍是亟需研究的應(yīng)用課題。(本文圖略)

本文作者：竇萬春 單位：南京大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在電子政務(wù)中的應(yīng)用

摘要：

隨著經(jīng)濟(jì)社會(huì)和信息科技的快速發(fā)展，“互聯(lián)網(wǎng)+”已成為當(dāng)今時(shí)代一種新的思維方式，大數(shù)據(jù)技術(shù)引領(lǐng)著各行業(yè)的創(chuàng)新發(fā)展。通過對大量數(shù)據(jù)進(jìn)行分析整理，得出實(shí)用信息，可以模擬得出電子政務(wù)實(shí)際要求場景，加強(qiáng)對社會(huì)公眾的服務(wù)和對市場主體的監(jiān)管,推進(jìn)簡政放權(quán)和政府職能轉(zhuǎn)變,提高政府治理能力，為打造服務(wù)型政府、智慧型政府提供技術(shù)支撐。

關(guān)鍵詞：

大數(shù)據(jù)；電子政務(wù)領(lǐng)域；互聯(lián)網(wǎng)技術(shù)

當(dāng)今社會(huì)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算等技術(shù)的發(fā)展迅猛，政府相關(guān)事務(wù)也逐漸朝著大數(shù)據(jù)方向發(fā)展。大數(shù)據(jù)技術(shù)針對大量復(fù)雜數(shù)據(jù)的分析、存儲(chǔ)、處理工作具有便捷度高的優(yōu)勢。政府發(fā)展建設(shè)中，重大決策需要建立在大數(shù)據(jù)信息基礎(chǔ)之上進(jìn)行分析，避免傳統(tǒng)依靠經(jīng)驗(yàn)、直覺等方法進(jìn)行判斷。大數(shù)據(jù)技術(shù)的應(yīng)用改變了傳統(tǒng)政府管理模式，借助大數(shù)據(jù)技術(shù)可以實(shí)現(xiàn)政府部門、社會(huì)公眾之間的信息共享，便于綜合性信息管理平臺的建立。

1大數(shù)據(jù)技術(shù)概述

1.1主要特點(diǎn)

及時(shí),處理數(shù)據(jù)量大。大數(shù)據(jù)是當(dāng)下社會(huì)發(fā)展的必然趨勢，各行業(yè)工作中每日處理數(shù)據(jù)量不斷增加，如果僅借助傳統(tǒng)管理方法無法保障高效、準(zhǔn)時(shí)的要求，大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生。第二,不同類型數(shù)據(jù)的處理。大數(shù)據(jù)技術(shù)處理對象包括大量簡單的基礎(chǔ)數(shù)據(jù)，隨著技術(shù)的不斷進(jìn)步，目前已逐步實(shí)現(xiàn)了對網(wǎng)頁、文本、XML、語音、圖像等非結(jié)構(gòu)化數(shù)據(jù)的分析整合。第三,處理速度快。大數(shù)據(jù)技術(shù)可快速處理不同類型的數(shù)據(jù)，速度優(yōu)勢十分明顯。此外，大數(shù)據(jù)技術(shù)的應(yīng)用具有高價(jià)值、低密度的特點(diǎn)。針對部分零散、無規(guī)律性數(shù)據(jù)在短期內(nèi)進(jìn)行分析，并挖掘出數(shù)據(jù)內(nèi)部潛在信息，便于政府部門研究、決策等工作的順利進(jìn)行，提高政府管理和服務(wù)工作的時(shí)效性和科學(xué)性。

1.2大數(shù)據(jù)技術(shù)的介紹

大數(shù)據(jù)技術(shù)處理對象主要是常規(guī)軟件無法分析的數(shù)據(jù)，借助大數(shù)據(jù)技術(shù)進(jìn)行相關(guān)數(shù)據(jù)的分析、存儲(chǔ)和處理，實(shí)現(xiàn)深層次數(shù)據(jù)挖掘管理，包括：大數(shù)據(jù)挖掘技術(shù)、分布式數(shù)據(jù)庫以及分布式軟件系統(tǒng)的集合和云計(jì)算處理。首先，數(shù)據(jù)的采集。大數(shù)據(jù)技術(shù)可以在采集數(shù)據(jù)的基礎(chǔ)上進(jìn)行責(zé)任的異構(gòu)，在分布式的數(shù)據(jù)源中進(jìn)行數(shù)據(jù)的抽取和采集，然后再經(jīng)過篩選、轉(zhuǎn)換以及集成，加載到相應(yīng)的數(shù)據(jù)庫中，為政務(wù)數(shù)據(jù)挖據(jù)和分析打下堅(jiān)實(shí)的基礎(chǔ)。其次，數(shù)據(jù)的存取。數(shù)據(jù)的存取過程是對關(guān)系數(shù)據(jù)庫以及非結(jié)構(gòu)性數(shù)據(jù)量中的數(shù)據(jù)進(jìn)行的存取，其中包含SQL、NOSQL等等。再次，基礎(chǔ)架構(gòu)以及數(shù)據(jù)處理。在基礎(chǔ)架構(gòu)的過程中，通過云計(jì)算的架構(gòu)能夠進(jìn)行云儲(chǔ)存的搭載，并且儲(chǔ)存分布式元件等等。數(shù)據(jù)的處理主要是對數(shù)據(jù)進(jìn)行加工和處理，其中包含了對原始數(shù)據(jù)的整理和計(jì)算，編輯與分析等等。，數(shù)據(jù)的統(tǒng)計(jì)和挖掘。通過聚類分析、卡方分析以及距離等分析上，可以對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，另外，其他常見的方法還有對應(yīng)分析和多元分析。數(shù)據(jù)的挖掘技術(shù)主要是對在現(xiàn)有數(shù)據(jù)當(dāng)中對一些圖形文件、視頻文件和音頻文件等等通過數(shù)據(jù)挖掘技術(shù)使用的各種算法進(jìn)行的計(jì)算。這樣的計(jì)算所起到的作用是對未來進(jìn)行的效果預(yù)測，以此實(shí)現(xiàn)高級別數(shù)據(jù)的分析需求，在數(shù)據(jù)挖據(jù)技術(shù)的使用過程中，需要有分類、預(yù)估以及相關(guān)性的描述和聚類等。

2大數(shù)據(jù)在電子政務(wù)領(lǐng)域的應(yīng)用

2.1加強(qiáng)對大數(shù)據(jù)的搜集管理

電子政務(wù)是依靠著信息時(shí)代的進(jìn)步慢慢發(fā)展起來的，所以它更需要大數(shù)據(jù)的應(yīng)用。在收集時(shí)，要把范疇確立好，在電子政務(wù)有關(guān)的經(jīng)濟(jì)文化、環(huán)境農(nóng)業(yè)等等方便進(jìn)行收集。掌握好收集方法，采用不同的數(shù)據(jù)源用不同的方法。采取一定的收集制度，把需要的數(shù)據(jù)用最快的方式進(jìn)行收集，保障信息真實(shí)，不斷進(jìn)行更新。每個(gè)種類的數(shù)據(jù)對應(yīng)相應(yīng)的分類實(shí)施管理。

2.2建立信息共享交換平臺

利用大數(shù)據(jù)技術(shù)，對各個(gè)政府部門以及社會(huì)群體所收集的信息進(jìn)行分類和篩選，通過加工、分析和整合建設(shè)電子政務(wù)大數(shù)據(jù)信息共享交換平臺，提供信息承載服務(wù)和數(shù)據(jù)交換服務(wù)。在大數(shù)據(jù)的基礎(chǔ)上，信息共享交換平臺可以實(shí)現(xiàn)政府部門之間的橫向和縱向的信息集合，在跨地區(qū)、跨部門的條件下也能進(jìn)行業(yè)務(wù)方面的交流和溝通，促進(jìn)業(yè)務(wù)協(xié)同的開展。依托信息共享交換平臺，制定信息資源共享的統(tǒng)一目錄以及標(biāo)準(zhǔn)，產(chǎn)生服務(wù)社會(huì)公眾的開放性數(shù)據(jù)，有利于促進(jìn)社會(huì)資源的有效開發(fā)和利用，為政府間跨層次的交流提供保障，也為社會(huì)管理、公共服務(wù)和宏觀調(diào)控提供數(shù)據(jù)支撐。

2.3大數(shù)據(jù)下電子政務(wù)決策系統(tǒng)的應(yīng)用

在大數(shù)據(jù)技術(shù)的支持下，因?yàn)橛休^強(qiáng)大的信息數(shù)據(jù)存儲(chǔ)能力和較為突出的信息數(shù)據(jù)挖掘能力，并且信息的分析處理的作用力也非常強(qiáng)，這樣政府就可以從各個(gè)部門所收集的海量數(shù)據(jù)中提取出有用的信息進(jìn)行分析和處理，以此提升政府的決策力度，提升決策的精準(zhǔn)性和科學(xué)性，使政府在社會(huì)化管理工作的預(yù)警能力上有突出的表現(xiàn)，起到解決決策成本以及促進(jìn)政府精細(xì)化管理的目的。

2.4建立保護(hù)數(shù)據(jù)安全的防護(hù)體系

大數(shù)據(jù)技術(shù)及應(yīng)用蓬勃發(fā)展，大數(shù)據(jù)數(shù)量和價(jià)值快速攀升，與此同時(shí)，大數(shù)據(jù)安全威脅也將輻射到各行各業(yè)，因此應(yīng)盡快建立一套保障政府?dāng)?shù)據(jù)安全的防護(hù)體系。加快推進(jìn)數(shù)據(jù)安全保護(hù)立法進(jìn)程，制定關(guān)于數(shù)據(jù)開放共享和跨境流動(dòng)監(jiān)管的法律條款，將工業(yè)互聯(lián)網(wǎng)、云計(jì)算等新技術(shù)新應(yīng)用場景下的數(shù)據(jù)保護(hù)納入法律調(diào)整范疇。出臺國家數(shù)據(jù)安全保護(hù)戰(zhàn)略，積極參與國際規(guī)則的制定，提升我國在數(shù)據(jù)保護(hù)領(lǐng)域的話語權(quán)。加強(qiáng)數(shù)據(jù)安全保護(hù)技術(shù)攻關(guān)，加快數(shù)據(jù)安全監(jiān)管支撐技術(shù)研究，提升針對敏感數(shù)據(jù)泄露、違法跨境數(shù)據(jù)流動(dòng)等安全隱患的監(jiān)測發(fā)現(xiàn)與處置能力。健全數(shù)據(jù)安全標(biāo)準(zhǔn)體系和評估體系，強(qiáng)化數(shù)據(jù)安全相關(guān)檢測與評估，推動(dòng)開展數(shù)據(jù)跨境流動(dòng)安全評估。

3結(jié)束語

本文針對大數(shù)據(jù)在電子政務(wù)領(lǐng)域中的應(yīng)用進(jìn)行了分析，提出大數(shù)據(jù)技術(shù)特點(diǎn)、優(yōu)勢和應(yīng)用范圍。信息化是當(dāng)今世界經(jīng)濟(jì)和社會(huì)發(fā)展的大趨勢，信息化水平已成為衡量一個(gè)國家和地區(qū)現(xiàn)代化水平的重要標(biāo)志。我國政府部門應(yīng)把握機(jī)遇，注重頂層設(shè)計(jì)，逐步推動(dòng)大數(shù)據(jù)等新興技術(shù)的應(yīng)用，積極培育政府大數(shù)據(jù)相關(guān)的應(yīng)用創(chuàng)新模式，從而提高政府各部門的協(xié)同辦公效率和為民辦事效率，提升政府社會(huì)治理能力和公共服務(wù)能力。

作者:黃冬 單位:國家新聞出版廣電總局信息中心

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)時(shí)代中計(jì)算機(jī)軟件技術(shù)的應(yīng)用

摘要：

進(jìn)入信息化的新時(shí)期，計(jì)算機(jī)技術(shù)正在融入各行業(yè)生產(chǎn)以及日常生活，在此前提下也體現(xiàn)了良好的實(shí)效性。相比于傳統(tǒng)模式而言，建立于大數(shù)據(jù)基礎(chǔ)上的計(jì)算機(jī)技術(shù)有助于提升整個(gè)的信息傳輸效果，同時(shí)也在根源上消除了信息傳輸中的各種阻礙。由此可見，大數(shù)據(jù)本身具有高增速性、多樣性以及大容量的特征，運(yùn)用大數(shù)據(jù)用來處理海量信息有助于減少成本并且提高綜合效能。面對大數(shù)據(jù)的新時(shí)期背景，針對計(jì)算機(jī)軟件的相關(guān)技術(shù)措施也應(yīng)當(dāng)加以改進(jìn)，探究完善技術(shù)運(yùn)用的具體思路。

關(guān)鍵詞：

計(jì)算機(jī)軟件技術(shù)；大數(shù)據(jù)時(shí)代；具體應(yīng)用

與傳統(tǒng)技術(shù)模式相比而言，大數(shù)據(jù)模式適合用來處理更大的數(shù)據(jù)容量，在此基礎(chǔ)上也突顯了高增速的特征。面對多樣化的信息處理與數(shù)據(jù)處理，運(yùn)用大數(shù)據(jù)的模式更加符合現(xiàn)階段的信息化背景[1]。在此過程中，計(jì)算機(jī)軟件應(yīng)當(dāng)起到關(guān)鍵性與核心性的價(jià)值，對此有必要綜合考慮多樣的技術(shù)措施，依照因地制宜的思路來提升計(jì)算機(jī)在各個(gè)領(lǐng)域中運(yùn)用的實(shí)效性。作為各個(gè)行業(yè)的企業(yè)而言，也應(yīng)當(dāng)密切結(jié)合大數(shù)據(jù)來洞察現(xiàn)階段的市場形勢，在此基礎(chǔ)上獲得精準(zhǔn)度與豐富性更強(qiáng)的數(shù)據(jù)與信息。

1基本的技術(shù)類型

進(jìn)入大數(shù)據(jù)的新時(shí)期，建立于大數(shù)據(jù)基礎(chǔ)上的計(jì)算機(jī)軟件相關(guān)技術(shù)正在逐步獲得改進(jìn)。運(yùn)用大數(shù)據(jù)技術(shù)，有利于緊密結(jié)合用戶針對大數(shù)據(jù)的真實(shí)需求，進(jìn)而依照因地制宜的基本原則來開展技術(shù)運(yùn)用。具體而言，與大數(shù)據(jù)密切相關(guān)的計(jì)算機(jī)軟件基本技術(shù)應(yīng)當(dāng)包含如下：首先是虛擬化的技術(shù)。從本質(zhì)上講，虛擬化技術(shù)指的是管理虛擬資源，在此前提下優(yōu)化配置各項(xiàng)資源以及數(shù)據(jù)信息。由此可見，虛擬化技術(shù)有助于消除過高的信息處理成本，針對信息處理的實(shí)效性也進(jìn)行了提升，進(jìn)而在較大限度內(nèi)保障了靈活性[2]。其次是與信息安全有關(guān)的軟件技術(shù)。面對大數(shù)據(jù)的新時(shí)期背景，各種類型的數(shù)據(jù)并不是孤立的，而是具有特定的內(nèi)在聯(lián)系。受到這種影響，系統(tǒng)內(nèi)的某些數(shù)據(jù)一旦遭受了威脅，那么很可能將會(huì)干擾整個(gè)系統(tǒng)，進(jìn)而威脅到最根本的數(shù)據(jù)安全。由此可見，針對軟件系統(tǒng)有必要設(shè)置多方位的安全保障，通過這種方式來保障集群數(shù)據(jù)本身的安全性。信息安全技術(shù)的宗旨就在于保障信息安全，近些年來，與大數(shù)據(jù)密切相關(guān)的多種信息技術(shù)都獲得了相應(yīng)的改進(jìn)，這種現(xiàn)狀有利于保障信息傳輸流程的安全性，同時(shí)也消除了潛在的漏洞以及風(fēng)險(xiǎn)。對于各個(gè)行業(yè)而言，應(yīng)當(dāng)密切結(jié)合自身的基本特征來健全安全管理，致力于推行網(wǎng)絡(luò)化的數(shù)據(jù)管理，確保數(shù)據(jù)存儲(chǔ)與數(shù)據(jù)分析中的實(shí)效性以及真實(shí)性。第三類是云存儲(chǔ)。相比于單一的存儲(chǔ)模式，云存儲(chǔ)密切結(jié)合了各個(gè)單元，在此前提下用來存儲(chǔ)不同類型的數(shù)據(jù)。因此可以得知，云存儲(chǔ)技術(shù)具備較強(qiáng)的協(xié)同性能，密切結(jié)合了多樣化的信息存儲(chǔ)[3]。面對大數(shù)據(jù)的背景，云存儲(chǔ)更加適合用來保存海量信息，進(jìn)而方便了實(shí)時(shí)性的數(shù)據(jù)存儲(chǔ)以及信息傳輸。從整個(gè)大數(shù)據(jù)的角度來講，云存儲(chǔ)應(yīng)當(dāng)構(gòu)成其中的核心與關(guān)鍵，借助此類方式來存儲(chǔ)實(shí)時(shí)性的數(shù)據(jù)。

2具體技術(shù)運(yùn)用

在現(xiàn)階段的軟件中包含了預(yù)測軟件，運(yùn)用此類軟件通常可以用來預(yù)測特定階段的客源狀況與企業(yè)發(fā)展趨勢。因此從信息通信角度來講，技術(shù)人員通過運(yùn)用SPSS或者IBM的軟件就可以完成預(yù)測，針對潛在的客源以及市場形勢進(jìn)行了多方位的推測。從目前的市場現(xiàn)狀來看，通訊行業(yè)中的很多企業(yè)已開始嘗試著運(yùn)用此類軟件來整理客戶信息，進(jìn)而擴(kuò)大了實(shí)時(shí)性的信息互動(dòng)平臺。經(jīng)過多方位的信息歸納與信息整理，企業(yè)就能判斷特定時(shí)間段內(nèi)的客源狀況，然后依照因地制宜的基本思路來選擇適合本企業(yè)的營銷對策。目前的狀態(tài)下，通信領(lǐng)域以及其他行業(yè)的企業(yè)都在面臨激烈競爭。企業(yè)如果要突顯自身具備的綜合優(yōu)勢，那么前提就在于借助多樣化的通信手段及通信措施。針對實(shí)時(shí)性的客戶資料，企業(yè)可以借助大數(shù)據(jù)提供的手段來收集必要信息，進(jìn)而完成多方位的樣本抽樣、數(shù)據(jù)開發(fā)以及信息處理。經(jīng)過多方位的信息分析，企業(yè)就能運(yùn)用特定的手段來提供自身所需的客源開發(fā)方案，同時(shí)也有利于從根源上消除市場中的隱患和威脅。大數(shù)據(jù)時(shí)代更加關(guān)注最根本的信息安全。然而實(shí)質(zhì)上，各種類型的軟件都很可能存在特定的安全漏洞，對此有必要運(yùn)用適當(dāng)?shù)拇胧﹣砑右詮浹a(bǔ)。針對軟件有必要加裝適當(dāng)?shù)陌踩揽?，在虛擬環(huán)境中保障最基本的數(shù)據(jù)安全。一旦發(fā)現(xiàn)了隱患或者安全風(fēng)險(xiǎn)，企業(yè)就要致力于迅速消除隱患。在必要的時(shí)候，企業(yè)還可以運(yùn)用模型化的手段來歸納用戶需求，提升信息分析的精準(zhǔn)度。從本質(zhì)上講，大數(shù)據(jù)運(yùn)用于信息處理的措施有利于消除數(shù)據(jù)處理中的過高成本，從而密切結(jié)合了數(shù)據(jù)分析、信息存儲(chǔ)與數(shù)據(jù)采集。企業(yè)如果能選擇適當(dāng)?shù)拇胧┖图夹g(shù)手段，就可以從根源上消除數(shù)據(jù)處理的過高成本，對于信息處理的實(shí)效性也進(jìn)行了提高。面對大數(shù)據(jù)的新時(shí)期，計(jì)算機(jī)軟件技術(shù)具備了更廣的運(yùn)用空間，這種技術(shù)也有利于提升大數(shù)據(jù)處理的實(shí)效性。截至目前，與大數(shù)據(jù)密切相關(guān)的軟件處理技術(shù)正在不斷獲得改進(jìn)，然而仍然有待加以完善。為此，各種類型企業(yè)及其技術(shù)人員還需要?dú)w納經(jīng)驗(yàn)，針對不同類型的信息處理都應(yīng)當(dāng)選擇不同的模式，進(jìn)而提升數(shù)據(jù)與信息處理的整體效果。

作者:劉長銀 侯學(xué)艷 侯艷權(quán) 姚越 單位:國網(wǎng)黑龍江省電力有限公司七臺河供電公司

大數(shù)據(jù)應(yīng)用論文:企業(yè)成本控制中大數(shù)據(jù)的應(yīng)用

摘要：

在產(chǎn)品信息管理平臺上，運(yùn)行標(biāo)配清單系統(tǒng)，可有效控制電站設(shè)備的制造成本。根據(jù)標(biāo)配清單系統(tǒng)的運(yùn)行要求，各部門按照職責(zé)和分工，將企業(yè)的產(chǎn)品信息錄入標(biāo)配清單中，通過對標(biāo)配清單的合理配置，可完成產(chǎn)品信息的最終整合。在業(yè)務(wù)流程上，實(shí)現(xiàn)了產(chǎn)品信息的無紙化流轉(zhuǎn)和信息共享。通過對標(biāo)配清單系統(tǒng)的更新升級，為制造企業(yè)的成本控制，提供了有效和的數(shù)據(jù)支撐。

關(guān)鍵詞：

電站；設(shè)備；成本；控制；大數(shù)據(jù)；系統(tǒng)；標(biāo)配；清單

0概述

隨著市場競爭的日趨激烈，對于電站設(shè)備制造企業(yè)而言，提高電站設(shè)備的品牌意識和產(chǎn)品質(zhì)量，合理地進(jìn)行成本控制就顯得尤為重要。工欲善其事必先利其器，欲實(shí)時(shí)控制企業(yè)的制造成本，可利用現(xiàn)有的信息管理平臺，開發(fā)和完善標(biāo)配清單系統(tǒng)，成為企業(yè)成本管控的有效措施。

1產(chǎn)品信息的收集

由于企業(yè)生產(chǎn)電站設(shè)備的種類眾多，大致可將產(chǎn)品分為汽機(jī)設(shè)備和鍋爐輔機(jī)設(shè)備，還有些大型設(shè)備，需根據(jù)電廠的裝機(jī)容量及電廠的系統(tǒng)布置進(jìn)行設(shè)計(jì)和制造。因存在各種產(chǎn)品，各類產(chǎn)品的信息均不相同，所以，產(chǎn)品的制造信息較為繁雜。加強(qiáng)產(chǎn)品制造成本的信息管理，可快速地確定各項(xiàng)產(chǎn)品的成本。在市場競標(biāo)階段，也能及時(shí)地報(bào)出合理的市場價(jià)格。為了提升產(chǎn)品在市場上的競爭力，實(shí)時(shí)收集和遴選產(chǎn)品的成本信息，已成為一個(gè)急需要解決的問題。

2原系統(tǒng)內(nèi)的信息收集

以往，針對產(chǎn)品成本信息的收集和整理，常采用較為傳統(tǒng)方法，主要依據(jù)各部門的EXCEL表格錄入，再由財(cái)務(wù)部門進(jìn)行匯總和整理后，最終完成產(chǎn)品的成本分析。這種信息收集方法，使整個(gè)數(shù)據(jù)統(tǒng)計(jì)的周期很冗長，數(shù)據(jù)的更新較為滯后。由于各部門統(tǒng)計(jì)的文件格式不一致，使信息錄入更為繁復(fù)，且所收集的信息也不完整，即使最終完成了相關(guān)產(chǎn)品的成本匯總分析，也將錯(cuò)過市場競標(biāo)的時(shí)機(jī)。同時(shí)，因各項(xiàng)產(chǎn)品數(shù)據(jù)信息的獨(dú)立性太強(qiáng)，在系統(tǒng)內(nèi)，無法實(shí)現(xiàn)有效的相互對比。

3大數(shù)據(jù)的信息收集和標(biāo)配清單

如今，社會(huì)已進(jìn)入大數(shù)據(jù)時(shí)代。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義，不僅在于掌握龐大的數(shù)據(jù)信息，而在于數(shù)據(jù)的專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對數(shù)據(jù)的加工能力。通過數(shù)據(jù)加工，實(shí)現(xiàn)數(shù)據(jù)的綜合利用和增值服務(wù)。數(shù)據(jù)管理成為企業(yè)的核心競爭力，將直接影響企業(yè)的財(cái)務(wù)表現(xiàn)。數(shù)據(jù)管理和應(yīng)用的持續(xù)發(fā)展，可戰(zhàn)略性地規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，必將成為現(xiàn)代企業(yè)管理的核心。標(biāo)配清單正是采用這種理念而誕生的產(chǎn)物。標(biāo)配清單引入了大數(shù)據(jù)管理的概念，并在企業(yè)內(nèi)部開展了標(biāo)配清單的推進(jìn)工作。針對標(biāo)配清單的結(jié)構(gòu)和工作流程，需開發(fā)一套標(biāo)配清單的運(yùn)行系統(tǒng)，旨在通過使用標(biāo)配清單，將企業(yè)的成本管控做得更精細(xì)和更。同時(shí)，將傳統(tǒng)數(shù)據(jù)庫升級到大數(shù)據(jù)庫，應(yīng)用大數(shù)據(jù)的管理方法，替代傳統(tǒng)的數(shù)據(jù)庫管理方式。原先，每個(gè)產(chǎn)品均有自己的數(shù)據(jù)庫，但數(shù)據(jù)與數(shù)據(jù)之間的關(guān)聯(lián)度不大，無法橫向比較，也缺乏明確的指向。因此，首先需確定數(shù)據(jù)模式，并對所有產(chǎn)品類型進(jìn)行分類，確定每一類產(chǎn)品的典型數(shù)據(jù)，建立起每一類產(chǎn)品的標(biāo)配清單，然后，將所有產(chǎn)品的數(shù)據(jù)進(jìn)行了歸納，形成一個(gè)大的數(shù)據(jù)庫，并利用標(biāo)配清單系統(tǒng)，對這些數(shù)據(jù)進(jìn)行加工處理。數(shù)據(jù)處理時(shí)，需遵循多個(gè)原則。

（1）市場導(dǎo)向原則

標(biāo)配清單系統(tǒng)的建立和應(yīng)用，應(yīng)以企業(yè)制訂的戰(zhàn)略目標(biāo)和提高產(chǎn)品盈利能力為導(dǎo)向，以盈利為最終目標(biāo)，根據(jù)企業(yè)的實(shí)際業(yè)務(wù)流程和成本分解情況，以數(shù)據(jù)分析為依據(jù)，從企業(yè)的成本管控能力和市場競爭的要求出發(fā)，結(jié)合企業(yè)發(fā)展的總體戰(zhàn)略思路進(jìn)行標(biāo)配清單系統(tǒng)的設(shè)計(jì)和應(yīng)用。

（2）覆蓋原則

標(biāo)配清單系統(tǒng)將打破傳統(tǒng)成本的管控模式，突破了以往成本數(shù)據(jù)均集中在財(cái)務(wù)部門的局限。在標(biāo)配清單成本的歸集過程中，通過市場銷售、設(shè)計(jì)、工藝、采購、計(jì)劃物流、制造、基建裝備、質(zhì)保等部門的全程參與，打通供應(yīng)鏈的整個(gè)過程，覆蓋各條線的成本，同時(shí)也需覆蓋企業(yè)生產(chǎn)的所有產(chǎn)品。

（3）分層分類原則

不同產(chǎn)品的市場競爭策略和加工方式均不相同。對于不同類型、不同競爭策略、不同成本歸集方式的產(chǎn)品，需采用分層分類的方法進(jìn)行對比分析。既要考慮各類產(chǎn)品成本的共性，凝練和消除重復(fù)性的數(shù)據(jù)處理工作，還應(yīng)充分考慮各類產(chǎn)品成本的特性。對于影響較大的成本項(xiàng)目，還應(yīng)進(jìn)行專項(xiàng)分析和重點(diǎn)管控，才能細(xì)致地推進(jìn)降本增效工作。

（4）標(biāo)桿對比原則

在應(yīng)用標(biāo)配清單系統(tǒng)時(shí)，因市場物品的價(jià)格變動(dòng)，常需進(jìn)行系統(tǒng)的升版工作，所以應(yīng)注重物品的對標(biāo)工作。在標(biāo)配清單系統(tǒng)的升版過程中，注意與歷史成本的對標(biāo)，才能地體現(xiàn)成本價(jià)格波動(dòng)情況，體現(xiàn)降本改進(jìn)的成果，也可明確成本管控的后續(xù)改進(jìn)方向。另外，通過與競爭對手的分項(xiàng)對標(biāo)，能更為方便地尋找企業(yè)產(chǎn)品所處的價(jià)格區(qū)域，便于分析產(chǎn)品價(jià)格上的競爭力，提升了企業(yè)的綜合管理能力。對于制造企業(yè)而言，管理改進(jìn)措施是否切實(shí)有效，能否落實(shí)在產(chǎn)品降本增效的工作中，是標(biāo)配清單系統(tǒng)進(jìn)行考核的重點(diǎn)。對標(biāo)國內(nèi)外企業(yè)，學(xué)習(xí)和借鑒競爭對手的先進(jìn)理念，是提升企業(yè)盈利能力的重要途徑。而各項(xiàng)降本增效措施的效果，需要在標(biāo)配清單升版過程中，體現(xiàn)在新舊版本的實(shí)際成本差額上。因此，在橫向?qū)?biāo)提供的降本增效思路基礎(chǔ)上，重點(diǎn)定期對標(biāo)各類產(chǎn)品自身的歷史數(shù)據(jù)，分析降本實(shí)施情況，以標(biāo)配清單為抓手，落實(shí)各類降本增效措施。

（5）動(dòng)態(tài)追蹤原則

在標(biāo)配清單系統(tǒng)中，各項(xiàng)成本均應(yīng)及時(shí)體現(xiàn)在系統(tǒng)內(nèi)，時(shí)時(shí)體現(xiàn)各項(xiàng)降本增效措施的效果。標(biāo)配清單內(nèi)的各項(xiàng)成本數(shù)據(jù)，還應(yīng)動(dòng)態(tài)地反映市場變化。標(biāo)配清單系統(tǒng)的計(jì)算方式和成本匯總模型，應(yīng)與當(dāng)前成本的實(shí)際情況相對應(yīng)，從而保障數(shù)據(jù)分析的有效性。根據(jù)數(shù)據(jù)處理的原則，建立了由各業(yè)務(wù)條線參與、全流程管控，財(cái)務(wù)部門匯總的成本數(shù)據(jù)庫。同時(shí)，以IT系統(tǒng)作為支持和保障系統(tǒng)，建立了最終為項(xiàng)目和市場銷售部服務(wù)的組織框架結(jié)構(gòu)。根據(jù)財(cái)務(wù)成本分析原理，確定了關(guān)鍵成本的組成要素。在系統(tǒng)中，將成本分為直接材料、直接人工和制造費(fèi)用三大模塊。產(chǎn)品成本包含了原材料、輔助材料、備品配件、配套件、人工成本、工藝外協(xié)費(fèi)用，還包括了經(jīng)銷、運(yùn)輸費(fèi)用、質(zhì)保材料和檢查費(fèi)用、各類易耗品、制造費(fèi)用、組裝費(fèi)、技術(shù)提成費(fèi)等成本項(xiàng)目。

4標(biāo)配清單系統(tǒng)的功能和界面

進(jìn)入標(biāo)配清單系統(tǒng)時(shí)，僅需在指定的NAS文件夾上點(diǎn)擊，即可登陸。系統(tǒng)自動(dòng)辨認(rèn)登陸人員的工號和部門，并賦予該人員相對應(yīng)的權(quán)限。標(biāo)配清單系統(tǒng)可實(shí)現(xiàn)清單項(xiàng)目成本的錄入和查詢、預(yù)算項(xiàng)目成本錄入和查詢，產(chǎn)品成本項(xiàng)目報(bào)表的輸出等功能。登陸系統(tǒng)后，利用系統(tǒng)軟件的各項(xiàng)功能，可對成本數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和報(bào)表輸出。標(biāo)配清單系統(tǒng)的各項(xiàng)功能和主界面，如圖1所示。實(shí)施標(biāo)配清單系統(tǒng)后，還將涉及后續(xù)的日常維護(hù)和升版工作。各項(xiàng)基礎(chǔ)數(shù)據(jù)由各部門進(jìn)行分類維護(hù)，需對已導(dǎo)入系統(tǒng)的基礎(chǔ)數(shù)據(jù)進(jìn)行校核，確保數(shù)據(jù)的性，理清各項(xiàng)數(shù)據(jù)的關(guān)聯(lián)性，及時(shí)反映預(yù)算與實(shí)際執(zhí)行情況的偏差，并將數(shù)據(jù)存儲(chǔ)于SQL數(shù)據(jù)庫。數(shù)據(jù)維護(hù)的頁面，如圖2所示。目前，通過標(biāo)配清單系統(tǒng)的運(yùn)行，已大大方便了各部門對產(chǎn)品數(shù)據(jù)的實(shí)時(shí)讀取。經(jīng)過大量的數(shù)據(jù)積累和匯總，在產(chǎn)品的投標(biāo)報(bào)價(jià)到投料預(yù)算階段，再到最終成本核算階段，均可在標(biāo)配清單系統(tǒng)內(nèi)，完成各段時(shí)期實(shí)際成本的測算。在標(biāo)配清單模式下，價(jià)格數(shù)據(jù)被定期更新，消除了重復(fù)詢價(jià)。當(dāng)投標(biāo)方案變更時(shí)，對數(shù)據(jù)即時(shí)進(jìn)行升版處理，數(shù)據(jù)變動(dòng)的范圍清晰明了，且留存的數(shù)據(jù)便于今后查詢和對比。當(dāng)產(chǎn)品數(shù)據(jù)變動(dòng)后，標(biāo)配清單的導(dǎo)出界面，如圖3所示。通過標(biāo)配清單系統(tǒng)的運(yùn)行，將預(yù)算管理和降本管理相結(jié)合，切實(shí)有效地摸清了主要產(chǎn)品的成本現(xiàn)狀，實(shí)現(xiàn)了成本信息歸集和成本的實(shí)時(shí)體現(xiàn)，為后續(xù)的降本增效工作奠定了基礎(chǔ)，開拓了新的思路。對各類產(chǎn)品的成本基礎(chǔ)、成本要素進(jìn)行拆分和填報(bào)，根據(jù)標(biāo)準(zhǔn)化的數(shù)據(jù)模型，建立了系統(tǒng)數(shù)據(jù)庫，數(shù)據(jù)模型結(jié)合了產(chǎn)品的成本特性，可應(yīng)用于項(xiàng)目投標(biāo)報(bào)價(jià)、預(yù)算編制和追蹤。目前，在標(biāo)配清單系統(tǒng)中，已有數(shù)據(jù)超過20萬條。通過標(biāo)配清單的及時(shí)升版、更新以及新舊版本的對比，可有效地反饋出由價(jià)格變動(dòng)、技術(shù)優(yōu)化、工藝改進(jìn)、管理改革等降本手段所帶來的實(shí)際效果。

5標(biāo)配清單系統(tǒng)的運(yùn)行

運(yùn)用標(biāo)配清單系統(tǒng)軟件后，可實(shí)現(xiàn)企業(yè)生產(chǎn)數(shù)據(jù)錄入格式的標(biāo)準(zhǔn)化，提高了產(chǎn)品數(shù)據(jù)的性，提升了企業(yè)成本管控的工作效率。產(chǎn)品標(biāo)配清單的創(chuàng)建或更新，需由多個(gè)部門共同配合才能完成。首先，創(chuàng)建或更新標(biāo)配清單的流程，由財(cái)務(wù)部門在系統(tǒng)中發(fā)起，技術(shù)部結(jié)合市場銷售部和財(cái)務(wù)部意見，綜合考慮市場需求、產(chǎn)品功能特性和成本特點(diǎn)，篩選典型項(xiàng)目和典型圖號，編制了一系列標(biāo)配清單。技術(shù)部對各類產(chǎn)品的標(biāo)配清單進(jìn)行細(xì)化和分解，形成了一份細(xì)化到部組件（部分已至零件）的標(biāo)準(zhǔn)化清單。各部門在技術(shù)部提供的標(biāo)配清單設(shè)計(jì)基礎(chǔ)上，對各類成本數(shù)據(jù)進(jìn)行細(xì)化和補(bǔ)充，最終形成完整的標(biāo)配清單數(shù)據(jù)。運(yùn)行系統(tǒng)產(chǎn)生的報(bào)表，包含了產(chǎn)品的信息內(nèi)容和各部門的分工職責(zé)，如表1所示。

6結(jié)語

目前，標(biāo)配清單系統(tǒng)是一個(gè)獨(dú)立的項(xiàng)目子系統(tǒng)，主要為財(cái)務(wù)成本信息服務(wù)。未來，將實(shí)現(xiàn)與其他管理信息平臺的對接，共享財(cái)務(wù)成本信息，實(shí)現(xiàn)業(yè)務(wù)流程信息的無紙化流轉(zhuǎn)。根據(jù)采購計(jì)劃，實(shí)現(xiàn)采購訂單審批的信息化，同時(shí)，簡化了預(yù)算控制的核價(jià)審批流程。通過預(yù)算和項(xiàng)目執(zhí)行計(jì)劃，合理預(yù)測未來物料的需求，提高采購和議價(jià)的能力。同時(shí)，各部門也可根據(jù)自身數(shù)據(jù)匯總需求，開發(fā)相關(guān)的標(biāo)配清單和預(yù)算項(xiàng)目報(bào)表，代替部門的臺賬或數(shù)據(jù)匯總表，真正實(shí)現(xiàn)數(shù)據(jù)從被動(dòng)到主動(dòng)、再到自動(dòng)的過渡，從而真正實(shí)現(xiàn)大數(shù)據(jù)管理，提升企業(yè)在市場競爭中的核心競爭力。

作者:朱建偉 單位:上海電氣電站設(shè)備有限公司電站輔機(jī)廠

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在人力資源管理中的應(yīng)用分析

摘要：大數(shù)據(jù)是人力資源管理工作優(yōu)化的重點(diǎn)，依據(jù)現(xiàn)階段大數(shù)據(jù)時(shí)展情況為基礎(chǔ)，結(jié)合近年來人力資源管理工作特點(diǎn)，分析大數(shù)據(jù)時(shí)代背景下人力資源管理工作的方向。

關(guān)鍵詞：大數(shù)據(jù)；人力資源；管理；應(yīng)用；實(shí)踐

一、大數(shù)據(jù)的分析

1990 年，比爾恩門及時(shí)次提出大數(shù)據(jù)的理念，其主要是說在革新網(wǎng)絡(luò)搜索引擎的過程中，進(jìn)行批量處理或者是研究的大量信息數(shù)據(jù)集。目前一般是指包含的信息資源較大、信息類型較多、以往的信息系統(tǒng)工具無法獲取相關(guān)的內(nèi)容、管理和處理的數(shù)據(jù)集。其中不擔(dān)包含了信息的體量，還包含信息資源的解決速度。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義并不在于掌控更多的信息資源，而是對這些具備含義的信息資源實(shí)施專業(yè)化處理。因此，若是將大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)獲取效益的重點(diǎn)就是提升信息資源的處理能力，依據(jù)加工達(dá)到信息資源的增值。從技術(shù)層面上分析，大數(shù)據(jù)與云計(jì)算之間的關(guān)系就像是一枚硬幣的正反兩面。大數(shù)據(jù)無法根據(jù)一臺計(jì)算機(jī)處理信息資源，一定要結(jié)合分布式架構(gòu)對大量信息資源實(shí)施分布式的處理，這就需要結(jié)合云計(jì)算的分布式處理、分布式信息系統(tǒng)與云儲(chǔ)備等。

二、大數(shù)據(jù)在企業(yè)中的應(yīng)用

大數(shù)據(jù)的帶來促使各項(xiàng)資源得到整合，以此出現(xiàn)了新的人群和新的模式，并且在實(shí)際發(fā)展中逐漸成為企業(yè)發(fā)展的重要因素。由此，企業(yè)的決定也將對信息資源的發(fā)掘和研究作為重點(diǎn)信息。數(shù)據(jù)的價(jià)值在于將有效的信息在正確的時(shí)間交于正確的應(yīng)用者手中，難點(diǎn)在于有效區(qū)別沒有價(jià)值的信息和有意義的信息資源。在應(yīng)用信息資源的過程中，大部分應(yīng)用群體只是簡單地整合信息資源，從而為企業(yè)治理規(guī)劃工作提供有效的依據(jù)，對于需要保存的信息進(jìn)行處理，并沒有將其作為戰(zhàn)略轉(zhuǎn)型的工具。由此，只有依據(jù)對信息資源戰(zhàn)略的整體回報(bào)實(shí)施總結(jié)和分析，企業(yè)才可以更好面對大數(shù)據(jù)帶來的挑戰(zhàn)，掌控有價(jià)值信息資源的機(jī)遇。在實(shí)際發(fā)展的過程中，需要應(yīng)用工具對信息資源實(shí)施深入的分析和研究，明確其中存在的價(jià)值和機(jī)遇。同時(shí)，還要深入了解企業(yè)外界環(huán)境，設(shè)計(jì)和整合企業(yè)發(fā)展方案。以此為基礎(chǔ)，結(jié)合創(chuàng)新能力、個(gè)性化服務(wù)等特點(diǎn)在競爭激烈的市場環(huán)境中占據(jù)重要的地位。

三、大數(shù)據(jù)時(shí)代人力資源管理需要明確的問題

人力資源管理的目標(biāo)是人，可定量程度要低于依據(jù)制度、流程、產(chǎn)品、資產(chǎn)等構(gòu)成的物，因此人力資源管理的價(jià)值難以被實(shí)際評估、人力資源的專業(yè)性也無法被認(rèn)可。但是大數(shù)據(jù)的應(yīng)用，有效的解決了這一問題，其中主要分為以下幾點(diǎn)：及時(shí)，大數(shù)據(jù)的應(yīng)用促使人力資源的選擇、育人、應(yīng)用等工作，達(dá)到了可檢測、可記錄、可研究、可優(yōu)化等方面的科學(xué)管理要求，人力資源管理工作的專業(yè)性能也得到了提升。第二，大數(shù)據(jù)促使人力資源部門成為推廣戰(zhàn)略的重要部門，企業(yè)在實(shí)際發(fā)展的過程中逐漸認(rèn)識到人力資源部門的重要性。第三，大數(shù)據(jù)促使人力資源整體構(gòu)成出現(xiàn)變化，整體構(gòu)成在人才價(jià)值提升和轉(zhuǎn)變的基礎(chǔ)觀念下，結(jié)合龐大的大數(shù)據(jù)平臺與技術(shù)，達(dá)到資源共享。同時(shí)，大數(shù)據(jù)在給人力資源管理工作帶來發(fā)展機(jī)會(huì)的過程中，也提出了嚴(yán)格的挑戰(zhàn)，也就是如何構(gòu)建大數(shù)據(jù)系統(tǒng)，如何對接人力資源管理與大數(shù)據(jù)信息技術(shù)，這樣就對人力資源管理工作人員提出了更高的要求。（一）正確掌控大數(shù)據(jù)在人力資源管理工作中的應(yīng)用現(xiàn)階段，隨著人力資源管理理論與管理實(shí)踐不斷的推廣，在實(shí)際企業(yè)發(fā)展的過程中需要重視大數(shù)據(jù)的作用。大數(shù)據(jù)有助于人力資源管理的理論知識、工作技巧以及技能等變得更為科學(xué)化。在大數(shù)據(jù)的影響下，云計(jì)算技術(shù)的人力資源服務(wù)成為其管理工作的重點(diǎn)目標(biāo)，有助于突破傳統(tǒng)意義上人力資源管理存在的約束，注重掌控信息資源的真實(shí)性、整體性以及性，可以正確應(yīng)用并且轉(zhuǎn)變成為提升企業(yè)工作效益、設(shè)計(jì)人才價(jià)值的終端服務(wù)成品，促使更多的企業(yè)開始應(yīng)用和推廣大數(shù)據(jù)技術(shù)，實(shí)施品質(zhì)的人才資源管理工作。（二）及時(shí)轉(zhuǎn)變?nèi)瞬刨Y源角色大數(shù)據(jù)的出現(xiàn)，引導(dǎo)人力資源工作可以結(jié)合品質(zhì)的技術(shù)平臺實(shí)施標(biāo)準(zhǔn)化、整體化的信息處理，促使人力資源管理工作更為高效和主動(dòng)，這樣有助于提升人力資源管理工作效率和質(zhì)量。人力資源管理工作依據(jù)經(jīng)驗(yàn)主義變得更加合理，這樣人力資源管理工作人員也將承擔(dān)更多的審查和決定工作，面對不斷變化的環(huán)境和企業(yè)戰(zhàn)略，因此人力資源部門需要提升自身的洞察力，設(shè)計(jì)與企業(yè)戰(zhàn)略相同的人力資源方案，從而為企業(yè)的發(fā)展提供更為品質(zhì)的人才保障。（三）正確應(yīng)用人力資源大數(shù)據(jù)的成果在企業(yè)招聘中，需要應(yīng)用大數(shù)據(jù)獲取更多的人才信息，促使企業(yè)更為深入了解候選者的情況，解決企業(yè)職位與候選者之間存在的問題。在企業(yè)工作人員培訓(xùn)的過程中，不但要向企業(yè)工作人員宣傳大數(shù)據(jù)知識，還要注重培育企業(yè)工作人員獲取、研究、解決以及整合信息資源的能力，提升企業(yè)工作者對工作拓展的洞察力和工作水平。在人才檢測過程中，需要結(jié)合大數(shù)據(jù)技術(shù)對人才績效考察、人才選拔分類實(shí)施分析，明確其中存在的整體信息，優(yōu)化存在的問題，為決策者提供信息資源之間存在的關(guān)系，以此實(shí)施的人才檢測工作。

四、結(jié)束語

總而言之，大數(shù)據(jù)的到來為人力資源管理工作提供了無數(shù)的可能性，但這些可能性中也包含了非常多的機(jī)遇和挑戰(zhàn)，因此在實(shí)際管理的過程中要結(jié)合大數(shù)據(jù)理念。依據(jù)大數(shù)據(jù)引導(dǎo)人力資源管理工作對信息資源實(shí)施研究和整合，促使企業(yè)對工作人員表現(xiàn)能力的研究更為客觀和科學(xué)，這樣有助于提升人力資源在企業(yè)中的地位，從而在實(shí)際發(fā)展中，促使人力資源為企業(yè)未來的發(fā)展奠定充實(shí)的基礎(chǔ)。

作者:蒲嘉霖 單位:江西工程學(xué)院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在人力資源管理中的應(yīng)用

【內(nèi)容摘要】人力資源管理是企業(yè)經(jīng)營管理的重要組成部分，對企業(yè)提高管理水平和構(gòu)建核心競爭優(yōu)勢意義重大。大數(shù)據(jù)時(shí)代既是機(jī)遇，也是挑戰(zhàn)，企業(yè)應(yīng)用大數(shù)據(jù)是人力資源管理轉(zhuǎn)型升級的必然選擇。在人力資源管理領(lǐng)域，大數(shù)據(jù)主要用于幫助企業(yè)進(jìn)行人力資源決策，預(yù)測人員需求，開展招聘和人才測評，隨著數(shù)據(jù)處理技術(shù)不斷成熟，大數(shù)據(jù)將用于人力資源管理的更多領(lǐng)域，提升企業(yè)人力資源管理水平。

【關(guān)鍵詞】大數(shù)據(jù);人力資源;企業(yè)人力資源管理

21世紀(jì)，網(wǎng)絡(luò)信息技術(shù)的迅猛發(fā)展不僅加速了信息的產(chǎn)生和傳遞，也帶來了數(shù)據(jù)量的急劇增加。文字、圖片、音頻、視頻等不同形式的信息交織在一起，構(gòu)成了一個(gè)龐雜的數(shù)據(jù)迷宮，大數(shù)據(jù)則是探索迷宮寶藏的重要工具，幫助使用者發(fā)現(xiàn)隱藏在復(fù)雜數(shù)據(jù)中的奧秘。與此同時(shí)，在知識經(jīng)濟(jì)背景下，人力資源管理被寄予厚望，企業(yè)管理者不斷將新技術(shù)和新方法引入人力資源管理，以提高管理效果。谷歌、騰訊等經(jīng)驗(yàn)豐富互聯(lián)網(wǎng)企業(yè)已經(jīng)著手探索大數(shù)據(jù)在人力資源管理領(lǐng)域的應(yīng)用，試圖憑借數(shù)據(jù)優(yōu)勢打造獨(dú)特、持久的人才競爭力。

一、大數(shù)據(jù)與人力資源管理

近十多年來，大數(shù)據(jù)相關(guān)研究如雨后春筍般涌現(xiàn)，引發(fā)社會(huì)各界廣泛討論。目前學(xué)術(shù)界尚未形成關(guān)于大數(shù)據(jù)的定義，通常認(rèn)為大數(shù)據(jù)由巨型數(shù)據(jù)集組成，這些數(shù)據(jù)集龐大而且復(fù)雜，難以通過標(biāo)準(zhǔn)的統(tǒng)計(jì)分析軟件對數(shù)據(jù)進(jìn)行分析［1］。大數(shù)據(jù)的特點(diǎn)可以概括為“4V”:即volume(體量龐大)、variety(形態(tài)復(fù)雜)、velocity(生成速度快)和value(價(jià)值巨大但密度很低)，這些特點(diǎn)決定了應(yīng)用大數(shù)據(jù)必須同時(shí)具備快速獲取數(shù)據(jù)的能力、強(qiáng)大的數(shù)據(jù)處理能力和敏銳的數(shù)據(jù)洞察能力。大數(shù)據(jù)如旋風(fēng)般席卷了人們的工作和生活，改變了各行各業(yè)的管理模式和工作方式。對人力資源管理者來說，大數(shù)據(jù)時(shí)代是千載難逢的歷史機(jī)遇，通過運(yùn)用大數(shù)據(jù)帶來的新思維和工具能為人力資源管理工作提供便利并推動(dòng)變革［2］。人力資源管理信息化手段(eHR)將從根本上轉(zhuǎn)變?nèi)肆Y源管理者的業(yè)務(wù)職能，推動(dòng)戰(zhàn)略性人力資源管理發(fā)展［3］。學(xué)者們逐漸在人力資源管理的相關(guān)研究中引入大數(shù)據(jù)的概念和思維，創(chuàng)新人力資源管理方式。唐魁玉(2014)認(rèn)為社會(huì)正在步入“大數(shù)據(jù)人力資源管理”階段，可以將大數(shù)據(jù)的管理思維和方法運(yùn)用到特殊人才招聘、培訓(xùn)與開發(fā)，以及績效管理測評和勞資關(guān)系處理等問題上，促進(jìn)用人制度的信息化和科學(xué)化［4］。盡管如此，一部分學(xué)者仍持保守態(tài)度，認(rèn)為在企業(yè)實(shí)踐中，由于部門博弈、HR恐懼和領(lǐng)導(dǎo)思路等問題人力資源管理很難擁抱大數(shù)據(jù)［5］。

二、企業(yè)人力資源管理應(yīng)用大數(shù)據(jù)的必要性及可行性

(一)企業(yè)人力資源管理應(yīng)用大數(shù)據(jù)的必要性。

現(xiàn)階段企業(yè)人力資源管理正面臨職能與角色的轉(zhuǎn)換，一方面，大數(shù)據(jù)背景下企業(yè)經(jīng)營方式、信息傳遞機(jī)制、組織結(jié)構(gòu)均發(fā)生重大轉(zhuǎn)變，要求人力資源管理與時(shí)俱進(jìn)，變革管理模式，為各業(yè)務(wù)部門提供個(gè)性化解決方案;另一方面，傳統(tǒng)的人力資源管理在實(shí)際運(yùn)用中暴露出決策不科學(xué)，組織信息冗雜，辦事效率低下等弊端，亟待采取創(chuàng)新手段整合信息資源，簡化工作流程，提高決策科學(xué)性。大數(shù)據(jù)以海量數(shù)據(jù)為基礎(chǔ)，運(yùn)用統(tǒng)計(jì)分析方法進(jìn)行預(yù)測、分析、評價(jià)等活動(dòng)，恰恰能夠滿足人力資源管理者的迫切需求。

(二)企業(yè)人力資源管理應(yīng)用大數(shù)據(jù)的可行性。

1．?dāng)?shù)據(jù)量大、來源。

人力資源管理部門是企業(yè)人事信息的集散地，員工檔案、部門職位、培訓(xùn)記錄、績效考核、薪資待遇等資料均由人力資源部門收集、保管和使用，數(shù)據(jù)來源，獲取方便，稍加處理即可使用。

2．人才涌現(xiàn)、路徑廣泛。

在時(shí)代潮流的呼喚下，社會(huì)涌現(xiàn)出一批專業(yè)的大數(shù)據(jù)人才和大數(shù)據(jù)公司，并且數(shù)量呈持續(xù)增長的趨勢，企業(yè)可通過多種途徑接軌大數(shù)據(jù)。

3．觀念普及、接納度高。

近年來大數(shù)據(jù)的概念被廣泛宣傳，利用大數(shù)據(jù)進(jìn)行人力資源管理的企業(yè)越來越多，無論是企業(yè)管理者還是普通員工都對大數(shù)據(jù)充滿了好奇，有較強(qiáng)的接納意愿。

三、企業(yè)人力資源管理應(yīng)用大數(shù)據(jù)的主要挑戰(zhàn)及對策

(一)數(shù)據(jù)量不足。

無論是多么大型的企業(yè)，能獲取的數(shù)據(jù)量都是有限的，很難與大數(shù)據(jù)以TB為單位的龐大體量相提并論，這種數(shù)據(jù)的不性會(huì)引起預(yù)測偏差，影響決策效果。然而，雖然單個(gè)企業(yè)并不擁有大數(shù)據(jù)，卻可以通過設(shè)置網(wǎng)絡(luò)接口的方式導(dǎo)入外部數(shù)據(jù)或者購買數(shù)據(jù)研究成果，間接與大數(shù)據(jù)“接軌”。

(二)數(shù)據(jù)處理技術(shù)限制。

作為網(wǎng)絡(luò)信息時(shí)代的前沿技術(shù)，應(yīng)用大數(shù)據(jù)離不開專業(yè)的數(shù)據(jù)專家和經(jīng)驗(yàn)豐富的數(shù)據(jù)處理技術(shù)。對中小企業(yè)來說，由企業(yè)內(nèi)部進(jìn)行數(shù)據(jù)處理在經(jīng)濟(jì)上和技術(shù)上都存在困難，因而催生了一系列人力資源顧問機(jī)構(gòu)和外包機(jī)構(gòu)，這些機(jī)構(gòu)憑借其專業(yè)性為企業(yè)提供高質(zhì)量的數(shù)據(jù)服務(wù)和解決方案，成效顯著。

(三)數(shù)據(jù)安全問題。

企業(yè)收集到的信息越多，安全保密性就越重要。企業(yè)、員工和客戶的相關(guān)信息一旦被不法分子獲取，將帶來不可估量的后果，輕則影響部門、員工間的和諧，給客戶造成困擾，重則泄露商業(yè)機(jī)密，引發(fā)重大損失。為此，企業(yè)要建立完善的數(shù)據(jù)管理制度，構(gòu)建強(qiáng)效保護(hù)措施，防止數(shù)據(jù)泄露、誤用和濫用，保障數(shù)據(jù)安全。

四、大數(shù)據(jù)在人力資源管理中的典型應(yīng)用

經(jīng)過一段時(shí)期的摸索和發(fā)展，大數(shù)據(jù)在人力資源管理中應(yīng)用范圍逐漸擴(kuò)大，在人力資源決策，人員需求預(yù)測和人才招聘、甄選等方面發(fā)揮了巨大作用。

(一)大數(shù)據(jù)支撐企業(yè)人力資源決策。

人力資源決策貫穿企業(yè)人力資源管理的整個(gè)過程，無論是人力資源規(guī)劃的確定和崗位職責(zé)的確認(rèn)，還是決定是否要進(jìn)行新一輪人員招聘或調(diào)整員工薪酬、福利，都需要進(jìn)行人力資源決策。大數(shù)據(jù)技術(shù)極大地推進(jìn)了HR－BI(HumanResourceBusinessIntelli-gence，即人力資源商業(yè)智能)的發(fā)展，幫助人力資源管理者作出科學(xué)決策。HR－BI是利用商業(yè)智能處理人力資源數(shù)據(jù)并提供決策支持的系統(tǒng)［6］，這個(gè)系統(tǒng)匯集企業(yè)所有人員、業(yè)務(wù)、政策相關(guān)數(shù)據(jù)，利用其強(qiáng)大的統(tǒng)計(jì)、分析功能為企業(yè)招聘、培訓(xùn)、績效評估等事務(wù)提供決策建議，促進(jìn)人力資源決策從“經(jīng)驗(yàn)+直覺”模式向“事實(shí)+數(shù)據(jù)”模式轉(zhuǎn)型，更好地支持業(yè)務(wù)發(fā)展。

(二)大數(shù)據(jù)預(yù)測企業(yè)人員需求。

經(jīng)濟(jì)全球化使世界經(jīng)濟(jì)環(huán)境急劇變化，企業(yè)隨時(shí)都面臨新的機(jī)遇和挑戰(zhàn)，發(fā)展的不確定性越來越大，這種不確定性導(dǎo)致企業(yè)難以預(yù)測業(yè)務(wù)發(fā)展方向及人員需求，一旦發(fā)生主營業(yè)務(wù)轉(zhuǎn)變的情況將面臨巨大的人才缺口，錯(cuò)失發(fā)展良機(jī)。大數(shù)據(jù)的應(yīng)用有效改善了這種情況。一方面，利用大數(shù)據(jù)技術(shù)能有效分析未來行業(yè)趨勢，使企業(yè)結(jié)合自身戰(zhàn)略目標(biāo)的調(diào)整轉(zhuǎn)變業(yè)務(wù)重點(diǎn)，明確中長期人才需求，做好人才儲(chǔ)備工作;另一方面，人力資源部門通過對往年崗位信息的分析可以得到人員供給、需求變化趨勢，預(yù)測短期內(nèi)的人員需求，及時(shí)通過招聘、調(diào)崗等策略平衡人員供給與需求。

(三)大數(shù)據(jù)協(xié)助企業(yè)招聘。

隨著人力資本在企業(yè)中戰(zhàn)略地位不斷提升，員工招聘的重要性日益凸顯。企業(yè)為了擴(kuò)大招聘范圍，通常會(huì)與招聘網(wǎng)站合作，在網(wǎng)站上職位信息吸引求職者。招聘網(wǎng)站匯集了海量求職者和招聘單位信息，憑借專業(yè)的數(shù)據(jù)處理技術(shù)，能夠快速篩選出與崗位需求最匹配的求職者，提高招聘效率。近年來，社交網(wǎng)絡(luò)招聘成為新的發(fā)展趨勢，由于社交網(wǎng)絡(luò)近乎真實(shí)地反映了求職者的興趣愛好、價(jià)值觀念、人脈關(guān)系等企業(yè)平時(shí)難以獲得的信息，能搜尋到與企業(yè)文化、愿景最契合的潛在求職者，頗受企業(yè)青睞。大街網(wǎng)、Linkin是這種形式的典型代表。

(四)大數(shù)據(jù)提高人才測評性。

人才測評是企業(yè)進(jìn)行人員甄選的重要一環(huán)，測評性決定了企業(yè)人力資本的質(zhì)量。通過對企業(yè)以往數(shù)據(jù)建模分析，尤其是對高勝任力員工的專業(yè)技能、學(xué)歷背景、性格特征、離職原因等因素的綜合分析，大數(shù)據(jù)能幫企業(yè)判斷出哪些員工有離職傾向，哪些員工更有可能取得職業(yè)上的成功，從而選用、提拔和留住最的人才。數(shù)據(jù)越充實(shí)，評估的性越高。實(shí)力雄厚的企業(yè)通常自建測評中心，聘請數(shù)據(jù)專家主導(dǎo)模型構(gòu)建和結(jié)果評價(jià)，中小企業(yè)則可以通過與人力資源顧問機(jī)構(gòu)合作的方式享受專業(yè)測評服務(wù)。

五、大數(shù)據(jù)在人力資源管理中進(jìn)一步應(yīng)用的空間

盡管目前大數(shù)據(jù)在人力資源管理中的應(yīng)用取得了一定的成果，但這些只是大數(shù)據(jù)的冰山一角，大數(shù)據(jù)在人力資源管理中還有非常廣闊的應(yīng)用空間，潛力巨大。比如，員工績效與領(lǐng)導(dǎo)風(fēng)格、工作環(huán)境、薪資條件之間存在密切聯(lián)系，利用數(shù)據(jù)模型將這些復(fù)雜信息層層分解，就能明確何種風(fēng)格的領(lǐng)導(dǎo)方式更能激發(fā)員工斗志，什么樣的辦公環(huán)境能使員工更舒適的工作，采用哪種薪資結(jié)構(gòu)、福利待遇更能激勵(lì)員工，從而推動(dòng)企業(yè)進(jìn)行相應(yīng)調(diào)整，使員工以飽滿的熱情和十足的動(dòng)力投入到工作中，為企業(yè)帶來更多價(jià)值。又比如，每每提到大數(shù)據(jù)，通常會(huì)認(rèn)為只與企業(yè)管理者相關(guān)，而無關(guān)普通員工。但事實(shí)上，作為大量數(shù)據(jù)信息的提供者和傳遞者，普通員工也應(yīng)當(dāng)成為數(shù)據(jù)成果的受益者。在企業(yè)中推廣大數(shù)據(jù)可以逐步解放基層人力資源管理人員，使他們從報(bào)表分析、文件歸檔等基礎(chǔ)性工作中解脫出來，并且通過標(biāo)準(zhǔn)化、規(guī)?；木W(wǎng)絡(luò)自助服務(wù)簡化工作流程，提高員工工作效率。

六、結(jié)語

大數(shù)據(jù)的發(fā)展給企業(yè)人力資源管理帶來了新的機(jī)遇，對人力資源管理轉(zhuǎn)型升級意義重大。大數(shù)據(jù)技術(shù)不斷成熟，未來將應(yīng)用于人力資源管理的更多領(lǐng)域，推動(dòng)人力資源管理實(shí)現(xiàn)戰(zhàn)略性變革。但是企業(yè)的管理者應(yīng)當(dāng)明確，大數(shù)據(jù)僅僅是一種輔助性工具，并不能替代管理者在企業(yè)中的決策作用，隨著大數(shù)據(jù)在人力資源管理中應(yīng)用層次不斷加深，將有更多問題和挑戰(zhàn)等待企業(yè)管理者去思考和應(yīng)對。

作者:張鈺 單位：中國海洋大學(xué)管理學(xué)院