引論:我們?yōu)槟砹?3篇大數(shù)據(jù)平臺(tái)解決方案范文,供您借鑒以豐富您的創(chuàng)作。它們是您寫作時(shí)的寶貴資源,期望它們能夠激發(fā)您的創(chuàng)作靈感,讓您的文章更具深度。
篇1
電信數(shù)據(jù)平臺(tái)承載著電信網(wǎng)中各類用戶數(shù)據(jù)的收集過濾,存儲(chǔ)聚合,分析挖掘等功能,為企業(yè)對(duì)于用戶的各種決策提供一定數(shù)據(jù)支撐。同時(shí),電信數(shù)據(jù)平臺(tái)也通過收集相關(guān)的信令數(shù)據(jù),監(jiān)控電信網(wǎng)的實(shí)際運(yùn)行情況,是企業(yè)的核心系統(tǒng)之一。
傳統(tǒng)電信數(shù)據(jù)平臺(tái)由數(shù)據(jù)倉庫和關(guān)系型數(shù)據(jù)庫構(gòu)成。數(shù)據(jù)采集端收集各種信息,如用戶狀態(tài),用戶位置,終端日志,網(wǎng)絡(luò)狀態(tài)等一系列異構(gòu)的數(shù)據(jù)信息,并統(tǒng)一匯總到數(shù)據(jù)倉庫。數(shù)據(jù)倉庫中存儲(chǔ)有全量信息,通過運(yùn)行各種ETL程序,將龐大的數(shù)據(jù)倉庫的信息分門別類轉(zhuǎn)移到例如Oracle,DB2,Sybase等各類關(guān)系型數(shù)據(jù)庫的各個(gè)表中。數(shù)據(jù)分析人員一般通過類似于商業(yè)智能的平臺(tái),通過撰寫SQL語句,提取關(guān)系型數(shù)據(jù)庫中的有用數(shù)據(jù),來簡單的分析各類問題。傳統(tǒng)的電信數(shù)據(jù)平臺(tái),具有集中式,造價(jià)昂貴,部署和運(yùn)維復(fù)雜等特點(diǎn)。在相當(dāng)長一段時(shí)期內(nèi),由于單位時(shí)間生成的數(shù)據(jù)規(guī)模沒有顯著增加,沒有到達(dá)數(shù)據(jù)庫的使用瓶頸,傳統(tǒng)的電信數(shù)據(jù)平臺(tái)可以較好的應(yīng)對(duì)各種需求。但隨著單位時(shí)間內(nèi),采集端生成的數(shù)據(jù)飛速膨脹,每天生成數(shù)十億乃至上百億的各類異構(gòu)數(shù)據(jù)需要存儲(chǔ)和分析,傳統(tǒng)的電信數(shù)據(jù)平臺(tái)逐漸暴露了其不足之處。
傳統(tǒng)的電信數(shù)據(jù)平臺(tái)組織方案有以下兩個(gè)方面的不足需要改進(jìn)。首先是對(duì)于海量數(shù)據(jù)存儲(chǔ)和查詢較為困難。中心型的關(guān)系型數(shù)據(jù)庫難以承受較高的用戶查詢負(fù)載,并且關(guān)系型數(shù)據(jù)庫的成本開銷較為昂貴,并不支持簡單的線性擴(kuò)展,若采用數(shù)據(jù)庫分庫和分表等輔助手段,則整個(gè)數(shù)據(jù)平臺(tái)的復(fù)雜性有較大提升并且難以維護(hù),所以傳統(tǒng)的電信數(shù)據(jù)平臺(tái)不能應(yīng)對(duì)海量數(shù)據(jù)的存儲(chǔ)和查詢。第二點(diǎn)不足是實(shí)時(shí)性不足。一般而言,數(shù)據(jù)在數(shù)據(jù)倉庫構(gòu)建就需要很長的數(shù)據(jù),由數(shù)據(jù)倉庫經(jīng)ETL程序歸并到各類數(shù)據(jù)庫同樣耗時(shí)巨大且有很多冗余的處理,同時(shí)批處理系統(tǒng)分析數(shù)據(jù)的延時(shí)在小時(shí)級(jí)別以上,隨著越來越多數(shù)據(jù)采集端的部署,數(shù)據(jù)產(chǎn)生速度越來越快,規(guī)模越來越大,實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行分析,并把結(jié)果進(jìn)行可視化,對(duì)于實(shí)時(shí)監(jiān)控的需求越來越重要,傳統(tǒng)的電信數(shù)據(jù)平臺(tái)延時(shí)較大,不能夠適應(yīng)數(shù)據(jù)實(shí)時(shí)性的要求。
針對(duì)以上分析的不足,本文提出一種基于Lambda架構(gòu)的電信數(shù)據(jù)平臺(tái)解決方案。Lambda架構(gòu),是Nathan Marz提出的一個(gè)實(shí)時(shí)大數(shù)據(jù)處理框架,具備高吞吐量和低延時(shí)的特點(diǎn)。本文結(jié)合Lambda架構(gòu),闡述了新型電信數(shù)據(jù)平臺(tái)的基本構(gòu)成和各層的職責(zé),同時(shí)也具體介紹了各層使用的互聯(lián)網(wǎng)開源大數(shù)據(jù)項(xiàng)目,描述了整個(gè)工作流程和數(shù)據(jù)流向,體現(xiàn)了新型電信數(shù)據(jù)平臺(tái)具備的高吞吐量,低延時(shí),高容錯(cuò)性的特點(diǎn),解決了傳統(tǒng)電信數(shù)據(jù)平臺(tái)難以應(yīng)對(duì)海量數(shù)據(jù)存儲(chǔ)和查詢,以及不能實(shí)時(shí)分析的不足。為電信網(wǎng)各數(shù)據(jù)平臺(tái)在新需求下的轉(zhuǎn)型提供了一個(gè)良好的嘗試。
2 相關(guān)技術(shù)介紹
2.1 Lambda架構(gòu)
Lambda架構(gòu)是由Nathan Marz提出的一種大數(shù)據(jù)處理架構(gòu),結(jié)合了批處理計(jì)算和實(shí)時(shí)計(jì)算的特點(diǎn),融合了不可變性,讀寫分離和復(fù)雜性隔離等一系列架構(gòu)原則,具備高容錯(cuò)、低延時(shí)和可擴(kuò)展等特點(diǎn)。一般分為批處理層,服務(wù)層和速度層,如圖1所示。
批處理層對(duì)全量數(shù)據(jù)進(jìn)行迭代計(jì)算,全量數(shù)據(jù)可以認(rèn)為是一個(gè)不可變的持續(xù)增長的數(shù)據(jù)集。批處理層對(duì)于全量數(shù)據(jù)進(jìn)行批處理計(jì)算,得到批處理視圖,存儲(chǔ)到服務(wù)層。服務(wù)層可以根據(jù)查詢條件,對(duì)批處理視圖的結(jié)果進(jìn)行再次合并等處理。批處理層通過定時(shí)的重復(fù)批處理視圖的更新,可以保證數(shù)據(jù)的高容錯(cuò)性,但是計(jì)算時(shí)間一般較長,延時(shí)較大,適用于全局規(guī)模的分析和預(yù)計(jì)算。批處理層一般由大數(shù)據(jù)批處理框架來實(shí)現(xiàn)。
服務(wù)層的任務(wù)是對(duì)于用戶查詢提供支持。它根據(jù)查詢條件,隨機(jī)訪問視圖,組合批處理視圖和實(shí)時(shí)視圖的結(jié)果,最終反饋給用戶。服務(wù)層一般由NoSql數(shù)據(jù)庫實(shí)現(xiàn),但是為了降低復(fù)雜性,不允許對(duì)視圖結(jié)果進(jìn)行隨機(jī)寫操作,僅提供對(duì)于批處理視圖和實(shí)時(shí)視圖的加載和隨機(jī)讀取操作。
速度層負(fù)責(zé)實(shí)時(shí)計(jì)算增量數(shù)據(jù)。由于批處理計(jì)算比較耗時(shí),隨時(shí)而來的實(shí)時(shí)增量數(shù)據(jù)等不到有效計(jì)算,通過引入速度層解決這一問題。速度層只處理最近的數(shù)據(jù),采用快速,增量的算法,通過實(shí)時(shí)計(jì)算,維護(hù)較小規(guī)模的實(shí)時(shí)視圖,是對(duì)批處理視圖更新是較高延時(shí)的一種補(bǔ)充。同時(shí),由于全量數(shù)據(jù)計(jì)算的準(zhǔn)確性,允許批處理視圖最終覆蓋實(shí)時(shí)視圖。速度層一般由消息系統(tǒng)隨時(shí)拉取新增的數(shù)據(jù),并通過實(shí)時(shí)流式計(jì)算框架完成實(shí)時(shí)視圖的生成。
2.2 Hadoop
Hadoop是一個(gè)處理海量數(shù)據(jù)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。Hadoop 2.0架構(gòu)由HDFS,YARN和MapReduce構(gòu)成。HDFS是Hadoop中的分布式文件系統(tǒng),它將海量數(shù)據(jù)存儲(chǔ)于DataNode中,由NameNode維護(hù)各DataNode的元數(shù)據(jù)信息。YARN是Hadoop中的資源管理系統(tǒng),監(jiān)控每個(gè)節(jié)點(diǎn),并協(xié)調(diào)MapReduce任務(wù)的分配。MapReduce是Hadoop中分布式數(shù)據(jù)處理框架,它將數(shù)據(jù)處理分為兩個(gè)階段,即Map和Reduce兩個(gè)階段,提供批處理并行計(jì)算的框架。對(duì)于Map階段,對(duì)輸入數(shù)據(jù)應(yīng)用Map Function,執(zhí)行結(jié)果為Key和Value的元組,相同Key的元組通過執(zhí)行Reduce Function進(jìn)行合并,最終生成結(jié)果。Hadoop有很豐富的其他組件支持各種需求的分析,如Pig,Hive,Impala等,這些高級(jí)工具可以自動(dòng)將高級(jí)原語翻譯為MapReduce任務(wù)執(zhí)行,有更好的使用體驗(yàn)。本文,Hadoop作為Lambda架構(gòu)中批處理層實(shí)現(xiàn),全量數(shù)據(jù)存儲(chǔ)在HDFS上,應(yīng)用MapReduce計(jì)算,生成批處理視圖。
3 結(jié)束語
本文結(jié)合Nathan Marz提出的Lambda架構(gòu)和電信數(shù)據(jù)的特點(diǎn),提出了基于Lambda架構(gòu)的電信數(shù)據(jù)平臺(tái)解決方案。本方案既可以通過全量數(shù)據(jù)的定期迭代計(jì)算,離線分析電信網(wǎng)收集的相關(guān)數(shù)據(jù),生成批量視圖,同時(shí)也可以通過流式計(jì)算框架,對(duì)增量數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,生成增量視圖。同時(shí),將批量視圖和增量視圖聚合,一起組合為查詢服務(wù),使得平臺(tái)既有實(shí)時(shí)系統(tǒng)的吞吐量,有具備離線系統(tǒng)的完備性。
參考文I
[1]Marz N,Warren J.Big Data:Principles and best practices of scalable realtime data systems[M].Manning,2015.
[2]Chaudhri A B."Next Gen Hadoop:Gather around the campfire and I will tell you a good YARN"[J].
篇2
在IBM看來,Power平臺(tái)是構(gòu)建大數(shù)據(jù)應(yīng)用的一把“利器”。“大數(shù)據(jù)是一個(gè)跨行業(yè)的需求,不僅在互聯(lián)網(wǎng)公司,傳統(tǒng)企業(yè)客戶,像金融、政府、電信等行業(yè)也有非常多的有關(guān)大數(shù)據(jù)的應(yīng)用。” IBM大中華區(qū)副總裁及系統(tǒng)與科技部Power Systems總經(jīng)理侯淼表示,“Power平臺(tái)所具有的大內(nèi)存、大Cache、多線程等技術(shù)特征,使之非常符合大數(shù)據(jù)的應(yīng)用需求。”
數(shù)據(jù)倉庫、數(shù)據(jù)挖掘、業(yè)務(wù)數(shù)據(jù)庫,這些都是Power平臺(tái)傳統(tǒng)的優(yōu)勢(shì)領(lǐng)域。在IBM系統(tǒng)與科技部大中華區(qū)Power Systems產(chǎn)品總監(jiān)李紅看來,這些既有優(yōu)勢(shì)為Power平臺(tái)在大數(shù)據(jù)領(lǐng)域的應(yīng)用奠定了基礎(chǔ)。
“首先,大數(shù)據(jù)應(yīng)用需要與既有系統(tǒng)進(jìn)行平滑、無縫的連接和交互。在此基礎(chǔ)上,Power平臺(tái)可以拓展新的需求,例如開源的非結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)的分析等,都可以集成到新的需求中去。在這個(gè)過程中,傳統(tǒng)方案需要和新方案實(shí)現(xiàn)很好的整合,Power平臺(tái)的價(jià)值進(jìn)一步得到體現(xiàn)。此外,軟件生態(tài)系統(tǒng)至關(guān)重要,對(duì)軟件以及并發(fā)處理等場(chǎng)景的廣泛支持(包括DB2、GPFS等)使基于Power的解決方案具備更多優(yōu)勢(shì)。”李紅告訴記者。
面向數(shù)據(jù)類型的解決方案
多樣性是大數(shù)據(jù)的一個(gè)典型特征,在IBM看來,面向不同大數(shù)據(jù)類型,大數(shù)據(jù)應(yīng)用可分為靜態(tài)批量大數(shù)據(jù)處理、實(shí)時(shí)大數(shù)據(jù)處理、數(shù)據(jù)倉庫整合、數(shù)據(jù)集市構(gòu)建四類,IBM面向這四類應(yīng)用都有專門的解決方案。“以數(shù)據(jù)倉庫應(yīng)用為基礎(chǔ),發(fā)展出了新的大數(shù)據(jù)應(yīng)用場(chǎng)景和需求,例如靜態(tài)數(shù)據(jù)的批處理、流數(shù)據(jù)的實(shí)時(shí)分析等。 IBM的思路是提供整合的解決方案,幫助用戶最終獲得完整的數(shù)據(jù)價(jià)值。”李紅表示。
在靜態(tài)大數(shù)據(jù)解決方案中,Power可支持Open Hadoop、 BigInsights、 Symphony 等大數(shù)據(jù)解決方案,并能夠與傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)無縫集成。李紅解釋說:“Symphony專門面向計(jì)算密集型大數(shù)據(jù)應(yīng)用,BigInsight在Hadoop框架上增加了安全管理、工作流等特性,并融入了IBM獨(dú)特的數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和文本數(shù)據(jù)分析挖掘等技術(shù)。”
篇3
許多人一提到大數(shù)據(jù),首先想到的是復(fù)雜的數(shù)據(jù)分析。這讓有些希望采用大數(shù)據(jù)分析工具的用戶產(chǎn)生了畏難情緒,也讓有些用戶產(chǎn)生了誤解,認(rèn)為大數(shù)據(jù)分析只是那些擁有復(fù)雜業(yè)務(wù)流程和海量數(shù)據(jù)的大企業(yè)的事。市場(chǎng)研究機(jī)構(gòu)麥肯錫的研究人員表示:“要?jiǎng)?chuàng)造新的重大價(jià)值,并不一定要采用復(fù)雜的大數(shù)據(jù)分析方法,有時(shí)只要能保證數(shù)據(jù)的可用性或?qū)?shù)據(jù)應(yīng)用進(jìn)行基本的分析,就能獲得所需的重要價(jià)值。”
不同的企業(yè)或一個(gè)企業(yè)內(nèi)部不同的部門對(duì)數(shù)據(jù)分析和數(shù)據(jù)價(jià)值的理解都不相同。企業(yè)處于不同的信息化發(fā)展階段,也會(huì)設(shè)定不同的數(shù)據(jù)分析目標(biāo),采用不同的數(shù)據(jù)分析工具。正是基于此,戴爾率先提出了大數(shù)據(jù)成熟度模型。戴爾公司全球企業(yè)級(jí)解決方案副總裁Cheryl Cook表示:“這一模型已經(jīng)得到了業(yè)內(nèi)許多分析機(jī)構(gòu)的認(rèn)可。所有行業(yè)以及所有數(shù)據(jù)應(yīng)用都適用于此模型。”
如下圖所示,大數(shù)據(jù)成熟度模型分成五個(gè)階段。第一個(gè)階段,數(shù)據(jù)處于混亂狀態(tài),數(shù)據(jù)存儲(chǔ)無章可循,數(shù)據(jù)難以訪問,企業(yè)的信息系統(tǒng)處于高風(fēng)險(xiǎn)狀態(tài)。第二個(gè)階段,實(shí)現(xiàn)數(shù)據(jù)的保留。在這個(gè)階段,企業(yè)被動(dòng)地對(duì)數(shù)據(jù)進(jìn)行存儲(chǔ)。數(shù)據(jù)雖然經(jīng)過一定的處理,但還不具有高質(zhì)量,數(shù)據(jù)的訪問也會(huì)受到一定限制。第三個(gè)階段,實(shí)現(xiàn)存儲(chǔ)的優(yōu)化。在這個(gè)階段,通過對(duì)存儲(chǔ)系統(tǒng)的進(jìn)一步優(yōu)化以及基于策略的控制與管理,用戶可以逐步發(fā)現(xiàn)數(shù)據(jù)的價(jià)值。第四個(gè)階段,實(shí)現(xiàn)簡單的分析。在存儲(chǔ)優(yōu)化的基礎(chǔ)上,用戶可以進(jìn)行數(shù)據(jù)建模和簡單的數(shù)據(jù)分析,對(duì)歸檔數(shù)據(jù)進(jìn)行搜索等。第五個(gè)階段,實(shí)現(xiàn)復(fù)雜的分析。在這個(gè)階段,大數(shù)據(jù)分析工具將得到充分應(yīng)用,用戶可以進(jìn)行比較復(fù)雜的建模、分析和決策。經(jīng)過上述五個(gè)階段,曾經(jīng)雜亂無章的數(shù)據(jù)也將經(jīng)歷從數(shù)據(jù)到信息再到知識(shí)的轉(zhuǎn)變過程,最終成為企業(yè)決策的重要依據(jù)。
這個(gè)大數(shù)據(jù)成熟度模型可以解答人們對(duì)于大數(shù)據(jù)應(yīng)用的幾個(gè)疑惑。第一,用戶使用大數(shù)據(jù)分析工具,并不意味著一定要進(jìn)行復(fù)雜的分析。舉例來說,處于存儲(chǔ)優(yōu)化階段的用戶就可以實(shí)現(xiàn)無障礙的數(shù)據(jù)訪問,并能獲得所需的數(shù)據(jù)價(jià)值。第二,大數(shù)據(jù)的應(yīng)用要經(jīng)歷一個(gè)逐步完善的過程,必須循序漸進(jìn),先做好數(shù)據(jù)存儲(chǔ)和優(yōu)化,然后再進(jìn)行數(shù)據(jù)分析。第三,大數(shù)據(jù)解決方案通常包括兩個(gè)部分:一是大數(shù)據(jù)保留解決方案,二是大數(shù)據(jù)分析解決方案。將兩類解決方案有機(jī)地結(jié)合在一起,才能有效降低大數(shù)據(jù)分析應(yīng)用的成本,更好地挖掘數(shù)據(jù)的價(jià)值。Cheryl Cook表示,戴爾可以提供上述兩種解決方案。一方面,戴爾可以提供針對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的大數(shù)據(jù)保留解決方案,主要包括存儲(chǔ)虛擬化與整合、應(yīng)用程序優(yōu)化、數(shù)據(jù)保護(hù)、災(zāi)難恢復(fù)以及數(shù)據(jù)保留與管理解決方案;另一方面,戴爾還能提供支持Hadoop、Cloudera等開源軟件的大數(shù)據(jù)分析解決方案。
記者曾與包括大慶油田、太平洋保險(xiǎn)公司等在內(nèi)的一些用戶進(jìn)行過交流。它們目前都沒有計(jì)劃部署大數(shù)據(jù)應(yīng)用。“從全球范圍來看,大數(shù)據(jù)應(yīng)用還處于起步階段。”戴爾亞太及日本地區(qū)商用事業(yè)部企業(yè)解決方案副總裁Philip A. Davis表示,“與云計(jì)算興起時(shí)一樣,可能要經(jīng)過兩三年的市場(chǎng)培育,用戶才能逐漸接受大數(shù)據(jù)應(yīng)用。”
中國東方航空股份有限公司信息部總經(jīng)理嚴(yán)振紅介紹說:“在大數(shù)據(jù)的概念出現(xiàn)以前,我們就在做客戶數(shù)據(jù)、經(jīng)營數(shù)據(jù)的分析工作。但是客戶數(shù)據(jù)庫、經(jīng)營數(shù)據(jù)庫等都是相互獨(dú)立的,數(shù)據(jù)不能共享。現(xiàn)在,我們要做的是將這些系統(tǒng)的數(shù)據(jù)整合起來,統(tǒng)一進(jìn)行分析。”
Hadoop不是萬能的
簡單來說,Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架。Hadoop最獨(dú)特的優(yōu)勢(shì)在于為用戶提供了一個(gè)分布式的、高容錯(cuò)的文件系統(tǒng)和加速數(shù)據(jù)處理的辦法。隨著Web 2.0、社交網(wǎng)站的大規(guī)模興起,人們需要一個(gè)高效的處理非結(jié)構(gòu)化數(shù)據(jù)的平臺(tái)。Hadoop正好可以滿足人們的需求。有些人甚至在Hadoop和大數(shù)據(jù)之間劃上了等號(hào)。Hadoop能夠解決大數(shù)據(jù)應(yīng)用的所有難題嗎?
“Hadoop是一個(gè)復(fù)雜的工具套件。如果沒有廠商或?qū)I(yè)技術(shù)人員的幫助,用戶自己部署Hadoop是一件十分困難的事。目前,Hadoop的應(yīng)用并不普及。互聯(lián)網(wǎng)用戶是最早采用Hadoop平臺(tái)的。”Philip A.Davis表示,“如果想讓大數(shù)據(jù)解決方案充分發(fā)揮其作用,就必須搭建一個(gè)高效的信息基礎(chǔ)架構(gòu),實(shí)現(xiàn)信息基礎(chǔ)架構(gòu)的自動(dòng)化、智能化,同時(shí)提高其可管理性。”
Hadoop的應(yīng)用是有一定技術(shù)門檻的。如今,許多IT廠商都推出了基于Hadoop的解決方案包,其目的是幫助用戶簡化Hadoop的部署與應(yīng)用。Philip A.Davis表示:“戴爾提供的基于Hadoop的大數(shù)據(jù)分析方案可以將Hadoop的部署周期從原來的兩個(gè)月縮短至兩天。”
VMware全球高級(jí)副總裁范承工也認(rèn)為,由于缺少精通Hadoop技術(shù)的專業(yè)人才,Hadoop的部署對(duì)于用戶來說是一件費(fèi)時(shí)費(fèi)力的事。如今,VMware可以將Hadoop部署在虛擬化架構(gòu)之上,將部署工作從半自動(dòng)化變?yōu)槿詣?dòng)化,從而減少了人工干預(yù),使得Hadoop的部署變得更加簡單,也不容易出錯(cuò)。
“很多中國企業(yè)的CIO認(rèn)為,大數(shù)據(jù)解決方案是有價(jià)值的,但實(shí)施起來確實(shí)有許多困難。”戴爾全球副總裁、中國區(qū)大型企業(yè)及公共事業(yè)部總經(jīng)理容永康舉例說,“國內(nèi)懂得在Hadoop上進(jìn)行開發(fā)的專業(yè)技術(shù)人員非常少。一些金融行業(yè)的用戶很想現(xiàn)在就部署大數(shù)據(jù)解決方案,但是苦于找不到既懂Hadoop技術(shù),又懂得金融業(yè)務(wù)的專業(yè)人才。”
Informatica首席技術(shù)官James Markarian表示:“在IT環(huán)境中,Hadoop不可能作為一個(gè)孤島存在。為了讓Hadoop跨越不同平臺(tái),用戶需要將Hadoop作為其IT大環(huán)境中的一部分來管理,并通過Hadoop重復(fù)使用他們的開發(fā)技巧、資產(chǎn)及數(shù)據(jù),同時(shí)還要統(tǒng)籌管理全部數(shù)據(jù)。”
在美國市場(chǎng)上,70%的大數(shù)據(jù)應(yīng)用處理的還是結(jié)構(gòu)化的數(shù)據(jù)。從技術(shù)的角度看,雖然Hadoop也能處理結(jié)構(gòu)化的數(shù)據(jù),但是目前基于Hadoop的大數(shù)據(jù)分析解決方案主要還是用于處理非結(jié)構(gòu)化的數(shù)據(jù)。因此,用戶處理結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)通常是用兩套不同的分析工具。這種混合的大數(shù)據(jù)處理模式是一種普遍現(xiàn)象。
從未來的發(fā)展看,非結(jié)構(gòu)化數(shù)據(jù)的快速增長是大數(shù)據(jù)分析的主要驅(qū)動(dòng)因素。從這個(gè)角度講,Hadoop的應(yīng)用前景還是十分廣闊的。
篇4
HDS是一家典型的技術(shù)型廠商,一貫奉行“少說多做”的原則,所以人們很少聽說或看見HDS在跟風(fēng)炒作某個(gè)新概念。閃存、軟件定義存儲(chǔ)、云計(jì)算等,HDS都不是第一個(gè)推出相關(guān)產(chǎn)品或解決方案的。但是,一旦產(chǎn)品后,HDS就一定能保證這些產(chǎn)品是具有HDS特色的、成熟且可以大規(guī)模商用的,能夠給企業(yè)客戶帶來實(shí)實(shí)在在的價(jià)值。
在存儲(chǔ)虛擬化技術(shù)領(lǐng)域,HDS基于存儲(chǔ)控制器的虛擬化技術(shù)在業(yè)界一枝獨(dú)秀,盡管當(dāng)時(shí)基于存儲(chǔ)網(wǎng)絡(luò)的虛擬化技術(shù)風(fēng)光正勁,但HDS始終“我行我素”。最終結(jié)果表明,HDS的存儲(chǔ)虛擬化技術(shù)是過硬的,其存儲(chǔ)虛擬化產(chǎn)品一直保持著很高的用戶認(rèn)可度。在很多用戶的印象中,HDS一直是一家專業(yè)的存儲(chǔ)廠商。
但是進(jìn)入云計(jì)算時(shí)代,一向比較謹(jǐn)慎、低調(diào)的HDS開始變得活躍起來。從技術(shù)和產(chǎn)品的角度看,HDS很快便采納了“融合”的理念,推出了業(yè)界影響力可與其經(jīng)典的存儲(chǔ)產(chǎn)品相媲美的統(tǒng)一計(jì)算平臺(tái)。如今,在亞太地區(qū),HDS統(tǒng)一計(jì)算平臺(tái)已經(jīng)成了最受企業(yè)客戶歡迎的解決方案。
多在技術(shù)上下功夫,很少談及理念的HDS如今也開始熱衷于談?wù)撔碌母拍睿㈥懤m(xù)拋出了與云計(jì)算、軟件定義等最新趨勢(shì)相關(guān)的戰(zhàn)略、技術(shù)框架和藍(lán)圖。許多人能夠脫口而出的HDS“三朵云”戰(zhàn)略――基礎(chǔ)架構(gòu)云、內(nèi)容云、信息云,成了HDS云計(jì)算的行動(dòng)綱領(lǐng)。HDS的新產(chǎn)品研發(fā)和市場(chǎng)推廣策略都是圍繞著“三朵云”展開的。
云計(jì)算是基礎(chǔ)架構(gòu),是工具,它的價(jià)值在于可以更好地支持行業(yè)客戶的應(yīng)用。在以大數(shù)據(jù)、物聯(lián)網(wǎng)、智慧城市等為代表的新一波應(yīng)用浪潮興起時(shí),云計(jì)算開始慢慢走向后臺(tái),成為推動(dòng)大數(shù)據(jù)、物聯(lián)網(wǎng)、智慧城市等應(yīng)用發(fā)展的幕后的那只手。云計(jì)算技術(shù)與大數(shù)據(jù)、物聯(lián)網(wǎng)、智慧城市等應(yīng)用之間的互相滲透、融合將成為IT市場(chǎng)發(fā)展的主旋律。
HDS全球解決方案、社會(huì)化創(chuàng)新營銷副總裁Ravi Chalaka表示:“以前,人們都知道HDS是一家存儲(chǔ)公司。但是今天,HDS的技術(shù)和解決方案已經(jīng)跨越了多個(gè)市場(chǎng)和應(yīng)用領(lǐng)域。HDS已經(jīng)從一家專注于存儲(chǔ)的廠商演變?yōu)樘峁┤诤闲越鉀Q方案的廠商,產(chǎn)品包含服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、嵌入式軟件等。近幾年,HDS一直在大力發(fā)展自己的軟件,并取得了突破性的成果。HDS的軟件解決方案主要包括虛擬化軟件、管理軟件和應(yīng)用軟件等。”
今天的HDS已經(jīng)不再是人們印象中那個(gè)專注于存儲(chǔ)的HDS了。特別是經(jīng)過過去幾年云計(jì)算、大數(shù)據(jù)的洗禮,HDS已經(jīng)有了新的定位,制定了新的戰(zhàn)略。
HDS的變化主要表現(xiàn)在以下幾方面。第一,HDS最直接的競(jìng)爭對(duì)手已經(jīng)不再是EMC、IBM這樣的存儲(chǔ)廠商,而是像通用電氣公司、西門子、Oracle這樣在社會(huì)化創(chuàng)新領(lǐng)域有很大投入的企業(yè)。第二,HDS進(jìn)一步明確了自己的目標(biāo)市場(chǎng),就是大中型企業(yè)客戶。目前,HDS在全球擁有1.4萬個(gè)客戶。在“財(cái)富100強(qiáng)”企業(yè)中,81%是HDS的客戶。第三,HDS公司內(nèi)部軟件和硬件的收入比重也發(fā)生了很大變化。最新的統(tǒng)計(jì)數(shù)據(jù)顯示,HDS業(yè)務(wù)收入的54%來自于軟件和服務(wù),而三年前這一比例只有25%。在過去4年中,HDS進(jìn)行了大大小小9次收購,被收購的廠商大部分是做軟件、服務(wù)或大數(shù)據(jù)解決方案的。從收入比例來看,HDS不再是一家單純的提供存儲(chǔ)硬件的廠商,而是正慢慢轉(zhuǎn)型為一家解決方案提供商。
為了配合解決方案的需要,HDS越來越重視與生態(tài)系統(tǒng)中的合作伙伴的合作,特別是與增值分銷商、系統(tǒng)集成商的合作。通過這些合作伙伴,HDS可以更好地為企業(yè)級(jí)客戶提供服務(wù)。
Pentaho是敲門磚
以前,HDS也能為大數(shù)據(jù)提供支持,但僅限于硬件和存儲(chǔ)架構(gòu)。以收購數(shù)據(jù)集成、可視化和分析軟件廠商Pentaho為標(biāo)志,HDS真正融入了大數(shù)據(jù)領(lǐng)域,并打開了通往物聯(lián)網(wǎng)市場(chǎng)的大門。
在今年4月舉行的HDS Connect 2015大會(huì)上,HDS對(duì)Pentaho的收購成了談?wù)撟疃嗟脑掝}之一。當(dāng)時(shí),由于HDS還沒有完成對(duì)Pentaho的收購,Pentaho這樣一個(gè)很可能決定HDS未來大數(shù)據(jù)策略走向的產(chǎn)品是繼續(xù)保持其獨(dú)立性,還是完全融入HDS原有的產(chǎn)品中成了人們關(guān)注的焦點(diǎn)。
6月,塵埃落定,HDS正式完成了對(duì)Pentaho的收購。Pentaho成為HDS公司旗下一員,但原品牌名稱保持不變。Pentaho平臺(tái)除了繼續(xù)獨(dú)立提供服務(wù)以外,也會(huì)與HDS的其他相關(guān)分析軟件結(jié)合,從而進(jìn)一步擴(kuò)展HDS的大數(shù)據(jù)解決方案。
以前,HDS的大數(shù)據(jù)解決方案主要集中在基礎(chǔ)架構(gòu)層面,為大數(shù)據(jù)分析提供平臺(tái)支撐。有了Pentaho的分析軟件以后,HDS可以深入大數(shù)據(jù)分析的核心,也更貼近客戶的應(yīng)用,可以把大數(shù)據(jù)分析的主動(dòng)權(quán)盡量掌握在自己手中。
還記得HDS著名的“三朵云”嗎?在HDS公布的大數(shù)據(jù)愿景中,基礎(chǔ)架構(gòu)云、內(nèi)容云和信息云仍起到了核心的支撐作用,但也有了細(xì)微的變化,變成了相對(duì)應(yīng)的軟件定義基礎(chǔ)架構(gòu)、內(nèi)容管理云架構(gòu)和信息智能云。在這三層云架構(gòu)之上是HDS通用的高端數(shù)據(jù)分析和訪問平臺(tái)。三層云架構(gòu)與數(shù)據(jù)分析與訪問平臺(tái)合在一起,構(gòu)成了HDS社會(huì)化創(chuàng)新的基石。
HDS倡導(dǎo)的社會(huì)化創(chuàng)新與物聯(lián)網(wǎng)市場(chǎng)是遙相呼應(yīng)的。在社會(huì)化創(chuàng)新方面,HDS選定了六大行業(yè)作為突破口,包括電信、醫(yī)療、商業(yè)分析、公共安全、石油和天然氣、汽車。“物聯(lián)網(wǎng)是下一輪技術(shù)革新的重點(diǎn)。”Ravi Chalaka分析說,“一臺(tái)大型機(jī)可以支持?jǐn)?shù)百個(gè)客戶,一臺(tái)小型機(jī)可以支持?jǐn)?shù)千個(gè)客戶,而在物聯(lián)網(wǎng)時(shí)代,數(shù)以十億計(jì)的設(shè)備被連接在一起,每個(gè)設(shè)備,甚至每雙鞋都在產(chǎn)生數(shù)據(jù)。這就是物聯(lián)網(wǎng)的能量。在未來的20~30年中,大部分的數(shù)據(jù)分析和計(jì)算都會(huì)圍繞著由物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)和信息進(jìn)行。HDS關(guān)注的只是物聯(lián)網(wǎng)中能夠產(chǎn)生價(jià)值的那部分?jǐn)?shù)據(jù)。只有通過對(duì)這些有價(jià)值的數(shù)據(jù)和信息進(jìn)行分析,才能產(chǎn)生洞見,才能讓整個(gè)社會(huì)變得更加健康、安全、美好。HDS希望更快速地交付能夠達(dá)到上述目標(biāo)的物聯(lián)網(wǎng)解決方案。”
確立主導(dǎo)地位
篇5
在產(chǎn)品方面,泰一指尚依托自身大數(shù)據(jù)技術(shù)和商業(yè)模式創(chuàng)新,構(gòu)建大數(shù)據(jù)、數(shù)字營銷、移動(dòng)化三大商業(yè)能力開放平臺(tái),面向傳統(tǒng)企業(yè)、傳統(tǒng)媒體及傳統(tǒng)廣告公司提供一體化“互聯(lián)網(wǎng)+”轉(zhuǎn)型升級(jí)服務(wù)。同時(shí),旗下大數(shù)據(jù)全媒體營銷企業(yè)AdTime,可為廣告主提供一站式整合營銷服務(wù)及解決方案。泰一指尚旗下主要產(chǎn)品有:
DataMust,大數(shù)據(jù)能力開放平臺(tái),擁有全網(wǎng)實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)。利用數(shù)據(jù)挖掘算法、標(biāo)簽體系以及全網(wǎng)數(shù)據(jù)技術(shù),借助骨干數(shù)據(jù)網(wǎng)絡(luò)以及自由數(shù)據(jù)沉淀,逐步研發(fā)出行業(yè)領(lǐng)先的大數(shù)據(jù)產(chǎn)品,為客戶搭建用戶數(shù)據(jù)管理平臺(tái),提供商業(yè)決策服務(wù)。
Admatrix,數(shù)字營銷能力開放平臺(tái),憑借多年的數(shù)據(jù)積累和算法優(yōu)勢(shì), 有效整合媒體資源,為客戶優(yōu)化廣告內(nèi)容,向廣告業(yè)生態(tài)鏈開放八項(xiàng)數(shù)字營銷能力,通過開放模式為行業(yè)客戶定制營銷平臺(tái)。
篇6
姜欣介紹,今年Teradata通過《經(jīng)濟(jì)學(xué)人》雜志在全球所做的一個(gè)調(diào)研結(jié)果顯示,在大數(shù)據(jù)利用方面,企業(yè)主要存在以下三方面問題:第一,數(shù)據(jù)整合問題,57%的被訪企業(yè)認(rèn)為難以獲取重要的業(yè)務(wù)數(shù)據(jù);第二,數(shù)據(jù)應(yīng)用問題,42%的受訪企業(yè)認(rèn)為數(shù)據(jù)過于繁雜,應(yīng)用不夠友好;第三,數(shù)據(jù)治理問題,75%的受訪企業(yè)為因異構(gòu)數(shù)據(jù)而浪費(fèi)時(shí)間感到困擾。
“我們目前推出的解決方案和技術(shù),就是為了解決以上三方面問題。”姜欣介紹說,為此Teradata提出了五級(jí)轉(zhuǎn)型戰(zhàn)略:
其一,堅(jiān)定地走一體化數(shù)據(jù)分析平臺(tái)的道路,不斷完善一系列平臺(tái)產(chǎn)品,其中包括最近推出的Teradata IntelliFlex數(shù)據(jù)倉庫架構(gòu)和Teradata Aster大數(shù)據(jù)探索平臺(tái)
其二,全面向云轉(zhuǎn)型,支持私有云、公有云和托管云等多種部署方式,并在這種云生態(tài)下提供咨詢和開發(fā)部署服務(wù)。
其三,打造分析生態(tài)系統(tǒng),將統(tǒng)一數(shù)據(jù)架構(gòu)(UDA),以及Unity、QueryGrid和Listener等工具整合起來,形成一個(gè)大數(shù)據(jù)生態(tài),并在這個(gè)生態(tài)下提供咨詢和實(shí)施服務(wù)。
其四,從完全技術(shù)中立的角度為客戶提供大數(shù)據(jù)咨詢服務(wù),如大數(shù)據(jù)戰(zhàn)略規(guī)劃服務(wù)、敏捷開發(fā)咨詢服務(wù)、數(shù)據(jù)建模服務(wù)。
其五,堅(jiān)持客戶至上而非產(chǎn)品至上,用多元化的產(chǎn)品全面滿足客戶需求,幫助客戶挖據(jù)數(shù)據(jù)價(jià)值。
由此可見,Teradata在大數(shù)據(jù)領(lǐng)域,除了不斷完善產(chǎn)品和技術(shù)以外,還不斷強(qiáng)化咨詢服務(wù)能力。
推出無邊界分析功能
作為Teradata多年的老客戶,瑞典最大的工業(yè)企業(yè)集團(tuán)沃爾沃汽車公司從2006年開始建立數(shù)據(jù)分析平臺(tái)。一直以來,沃爾沃汽車公司面臨的一個(gè)問題,就是數(shù)據(jù)散布在超過30個(gè)系統(tǒng)中。公司的整合數(shù)據(jù)存儲(chǔ)庫和數(shù)據(jù)模型中,除了有客戶、經(jīng)銷商、車輛與車輛配置信息、質(zhì)保和故障診斷等數(shù)據(jù)外,還有很多外部數(shù)據(jù)。這些數(shù)據(jù)有結(jié)構(gòu)化數(shù)據(jù),也有非結(jié)構(gòu)化數(shù)據(jù)。
沃爾沃汽車公司亟須一個(gè)彈性好、敏捷性高的平臺(tái)來處理所有這些數(shù)據(jù)。為此,沃爾沃汽車公司部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu),將所有需要處理的數(shù)據(jù)全部整合起來進(jìn)行處理,從而解決數(shù)據(jù)孤島和數(shù)據(jù)治理混亂問題。在部署了Teradata統(tǒng)一數(shù)據(jù)架構(gòu)后,沃爾沃汽車公司構(gòu)建了全球統(tǒng)一的敏捷的數(shù)據(jù)驅(qū)動(dòng)環(huán)境,從而可以借助可靠的數(shù)據(jù)分析結(jié)果降低運(yùn)營成本,提高盈利能力和客戶滿意度;形成基于事實(shí)的決策機(jī)制和文化,使得公司更加開放和透明;有效支撐“數(shù)據(jù)創(chuàng)客”活動(dòng),員工和合作伙伴可以基于數(shù)據(jù)平臺(tái)開發(fā)數(shù)據(jù)產(chǎn)品。
沃爾沃汽車公司成功應(yīng)用Teradata統(tǒng)一數(shù)據(jù)架構(gòu)的案例,是Teradata新推出的無邊界分析功能的一個(gè)應(yīng)用典范。據(jù)悉,Teradata無邊界分析打破了過去在進(jìn)行數(shù)據(jù)分析時(shí)單一系統(tǒng)、單一技術(shù)分析的界限,突破時(shí)間、地點(diǎn),以及所需數(shù)據(jù)和平臺(tái)的限制,幫助企業(yè)高效完成數(shù)據(jù)分析工作。
Teradata無邊界分析功能通過最新版本的Teradata QueryGrid軟件和可以自動(dòng)協(xié)調(diào)多系統(tǒng)Teradata環(huán)境的Teradata Unity軟件來實(shí)現(xiàn)。其中,Teradata Unity軟件具有高可用性特點(diǎn)和工作負(fù)載分配功能,從而確保用戶在權(quán)限范圍內(nèi)可隨時(shí)訪問相關(guān)數(shù)據(jù)和分析。全新升級(jí)的Teradata Unity具有強(qiáng)大的跨系統(tǒng)功能,可進(jìn)一步消除分析環(huán)境界限。
電子專業(yè)制造服務(wù)公司偉創(chuàng)力公司數(shù)據(jù)與分析團(tuán)隊(duì)主管森迪爾(Sendil Thangavelu)認(rèn)為,采用多個(gè)分析引擎來分析來自多個(gè)數(shù)據(jù)存儲(chǔ)庫的數(shù)據(jù)以獲得更全面、可視化的分析結(jié)果,將成為企業(yè)強(qiáng)化競(jìng)爭優(yōu)勢(shì)的重要因素。“我們的Teradata數(shù)據(jù)管理環(huán)境已經(jīng)非常卓越,但我們一直還在尋找解決方案來提高我們的能力。Teradata的無邊界分析概念與我們的企業(yè)發(fā)展方向不謀而合。”森迪爾補(bǔ)充說。
推出快速分析咨詢服務(wù)
姜欣告訴記者,2015年年底,Teradata總結(jié)出了在新形勢(shì)下具有較強(qiáng)競(jìng)爭力的新型企業(yè)――技術(shù)感知型企業(yè)。技術(shù)感知型企業(yè)應(yīng)具有敏捷平臺(tái)、行為分析、協(xié)同思維、自助應(yīng)用和自動(dòng)決策五大核心能力。
姜欣表示,技術(shù)感知型企業(yè)對(duì)內(nèi)能夠提供數(shù)據(jù)洞察能力,實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)流程,提升運(yùn)營的ROI;對(duì)外可以整合數(shù)據(jù)價(jià)值,創(chuàng)新數(shù)據(jù)盈利模式,實(shí)現(xiàn)信息運(yùn)營。
但是,成為技術(shù)感知型企業(yè)并不容易。為了幫助客戶更加順利、快速地成為技術(shù)感知型企業(yè),Teradata還推出了Teradata RACE(快速分析咨詢服務(wù))和Teradata業(yè)務(wù)價(jià)值框架。據(jù)介紹,RACE是一套敏捷、技術(shù)中立的方法論,能夠幫助客戶在正式投資前了解分析解決方案的潛在業(yè)務(wù)價(jià)值。不僅如此,借助豐富的行業(yè)經(jīng)驗(yàn)和專業(yè)的數(shù)據(jù)分析技術(shù),Teradata還可以幫助客戶將項(xiàng)目實(shí)施所需時(shí)間從數(shù)月縮短至6~10周。
據(jù)悉,作為Teradata RACE服務(wù)的核心,Teradata業(yè)務(wù)價(jià)值框架是Teradata從數(shù)千次與客戶成功合作中積累的豐富經(jīng)驗(yàn)的結(jié)晶。該框架通過發(fā)現(xiàn)切實(shí)有用的分析解決方案,幫助客戶更快地從分析和數(shù)據(jù)技術(shù)投資中獲取回報(bào)。
值得一提的是,隨著物聯(lián)網(wǎng)傳感器數(shù)據(jù)等新型數(shù)據(jù)源的不斷出現(xiàn),新分析技術(shù)的不斷涌現(xiàn),用戶部署和應(yīng)用分析解決方案的難度越來越大。但依托適用Teradata業(yè)務(wù)價(jià)值框架詳盡的可視化信息,接受RACE服務(wù)的客戶可以在實(shí)施分析解決方案時(shí),掌握清晰的路線圖,了解該項(xiàng)目在何時(shí)、以怎樣的方式帶來投資回報(bào)。
姜欣介紹,RACE方法包含三個(gè)主要階段:
第一階段,溝通(Align)。Teradata的分析業(yè)務(wù)咨詢顧問以業(yè)務(wù)價(jià)值框架作為出發(fā)點(diǎn),幫助客戶發(fā)現(xiàn)最具潛在價(jià)值的業(yè)務(wù)案例,并對(duì)準(zhǔn)該業(yè)務(wù)案例開展工作,確認(rèn)支持該使用案例關(guān)鍵數(shù)據(jù)資產(chǎn)的可用性。
第二階段,創(chuàng)建(Create)。Teradata的數(shù)據(jù)科學(xué)家為選中的業(yè)務(wù)案例載入并準(zhǔn)備數(shù)據(jù),開發(fā)新分析模型或調(diào)整既有模型。本階段數(shù)據(jù)科學(xué)家會(huì)與業(yè)務(wù)發(fā)起人對(duì)方案進(jìn)行多次快速迭代,以確保分析結(jié)果能帶來預(yù)期業(yè)務(wù)效果。
第三階段,評(píng)估(Evaluate)。Teradata的分析業(yè)務(wù)咨詢顧問分析結(jié)果,評(píng)估部署分析使用案例的潛在投資回報(bào)率,并為客戶設(shè)計(jì)、部署方案。
篇7
近年來,亨通立足光通信主業(yè)、突破產(chǎn)業(yè)關(guān)鍵核心技術(shù),不斷完善“光棒-光纖-光纜-光器件-光網(wǎng)絡(luò)”的光纖通信全產(chǎn)業(yè)鏈。與此同時(shí),亨通瞄準(zhǔn)產(chǎn)業(yè)尖端前沿,不斷延伸產(chǎn)業(yè)鏈,調(diào)整結(jié)構(gòu),轉(zhuǎn)型升級(jí),積極拓展互聯(lián)網(wǎng)+發(fā)展新空間,布局量子通信產(chǎn)業(yè),進(jìn)入寬帶接入網(wǎng)、智慧社區(qū)、通信工程的建設(shè)運(yùn)營,并構(gòu)建大數(shù)據(jù)應(yīng)用及網(wǎng)絡(luò)安全等業(yè)務(wù)體系,“形成‘產(chǎn)品+平臺(tái)+服務(wù)’的綜合服務(wù)模式。”亨通光電總經(jīng)理尹紀(jì)成表示。
布局網(wǎng)絡(luò)安全
網(wǎng)絡(luò)安全是當(dāng)下互聯(lián)網(wǎng)領(lǐng)域最突出的問題,受到人們的廣泛關(guān)注,也是本屆通信展上一項(xiàng)重要的展示內(nèi)容。而在這一背景下,亨通適時(shí)推出了優(yōu)網(wǎng)科技大數(shù)據(jù)、安全、通信軟件解決方案和量子保密通信行業(yè)級(jí)解決方案這兩套保障網(wǎng)絡(luò)信息安全的解決方案。
據(jù)了解,優(yōu)網(wǎng)科技大數(shù)據(jù)、安全、通信軟件解決方案包括用于通信網(wǎng)絡(luò)維護(hù)的綜合性能監(jiān)控解決方案、重點(diǎn)場(chǎng)景保障解決方案、客服支撐解決方案,用于網(wǎng)絡(luò)安全領(lǐng)域的信息安全態(tài)勢(shì)感知解決方案、網(wǎng)絡(luò)安全態(tài)勢(shì)感知解決方案、大數(shù)據(jù)云防護(hù)解決方案、云安全防護(hù)解決方案及運(yùn)營,用于大數(shù)據(jù)運(yùn)營的大數(shù)據(jù)平臺(tái)解決方案、互聯(lián)網(wǎng)綜合服務(wù)平臺(tái)解決方案等一系列的維護(hù)、安全、大數(shù)據(jù)解決方案,為通信、互聯(lián)網(wǎng)等數(shù)據(jù)運(yùn)營提供全方位的支撐。
今年8月份,亨通光電與安徽問天量子科技股份有限公司共同投資設(shè)立江蘇亨通問天量子信息研究院有限公司,雙方強(qiáng)強(qiáng)聯(lián)合、優(yōu)勢(shì)互補(bǔ),積極布局量子通信產(chǎn)業(yè),加快啟動(dòng)量子網(wǎng)絡(luò)建設(shè),并在本屆展會(huì)上推出了政務(wù)網(wǎng)解決方案、電力調(diào)度保密通信解決方案、數(shù)據(jù)中心信息安全解決方案等一系列量子保密通信解決方案,為通信及互聯(lián)網(wǎng)的信息安全保駕護(hù)航。
聚焦高鐵通信
國內(nèi)高鐵建設(shè)正加快推進(jìn),乘客對(duì)于乘坐高鐵時(shí)手機(jī)上網(wǎng)和通話的需求量逐漸增加,因此運(yùn)營商在高鐵沿線的基站建設(shè)方面將進(jìn)一步加大投資力度。
據(jù)了解,高鐵沿線無線信號(hào)覆蓋主要依靠沿線的通信基站,為高鐵列車提供無線信號(hào)。由于高鐵列車的運(yùn)行速度較快,導(dǎo)致基站的密集程度高,投資費(fèi)用較高。同時(shí),在大部分偏遠(yuǎn)地區(qū),高鐵沿線基站僅用于列車信號(hào)覆蓋,功能單一,并且用戶量少,運(yùn)營商的投資收益率低,資金回收周期長。
針對(duì)現(xiàn)有情況,亨通推出高鐵無線覆蓋解決方案,為客戶提供建設(shè)效率高、投資費(fèi)用低、運(yùn)維便捷的產(chǎn)品和方案。據(jù)介紹,該方案采用銅合金導(dǎo)體作為主要供電電纜,可選配1-144芯光纖,能夠同時(shí)為高鐵沿線基站提供電力和通信接入服務(wù)。銅合金導(dǎo)體相比傳統(tǒng)銅芯電纜產(chǎn)品,產(chǎn)品施工難度低,相同重量長度更長,抗強(qiáng)風(fēng)能力好,同時(shí)由于導(dǎo)體采用銅合金導(dǎo)體,無法回收利用,具有防盜效果。高鐵無線覆蓋解決方案采用100V-600V可變直流電遠(yuǎn)程集中供電,通過鐵路信源站取電后,能夠雙向輻射,最遠(yuǎn)可滿足8個(gè)基站的供電需求。因此減少了用戶的取電費(fèi)用和協(xié)調(diào)難度。在基站端僅需要配置對(duì)應(yīng)的終端設(shè)備即可完成快速建站,節(jié)約用戶建站時(shí)間,降低客戶無形建設(shè)成本。
目前,亨通的高鐵無線覆蓋解決方案已經(jīng)在蘭新線鐵路中大范圍使用,為客戶提供了更優(yōu)質(zhì)的產(chǎn)品和解決方案。
深耕海洋業(yè)務(wù)
海洋板塊是亨通近兩年頗為重視的業(yè)務(wù)板塊,同時(shí)也是今年上半年?duì)I業(yè)收入增幅最大的業(yè)務(wù)之一。據(jù)亨通2016年上半年報(bào)告,亨通海洋電力通信產(chǎn)品營收2.43億元,同比增長249.12%。
在本屆通信展上,亨通重點(diǎn)推出了海底觀測(cè)系統(tǒng)以及江河湖泊水質(zhì)監(jiān)測(cè)系統(tǒng)解決方案。
篇8
文思海輝執(zhí)行副總裁劉君博先生參加領(lǐng)導(dǎo)力大會(huì)時(shí)表示:“IBM燈塔獎(jiǎng)是個(gè)有高度的新起點(diǎn),未來文思海輝將與IBM繼續(xù)通力合作、共同成長。在智慧金融、智慧城市等重點(diǎn)領(lǐng)域不斷提升技術(shù)水平和研發(fā)能力,為客戶創(chuàng)造更大的價(jià)值!”
篇9
在數(shù)據(jù)管理產(chǎn)品趨向融合的今天,數(shù)據(jù)集成軟件會(huì)不會(huì)也被集成到一些綜合性的管理解決方案中呢?
托尼·楊表示:“Informatica之所以能夠保持快速成長,一個(gè)關(guān)鍵的因素就是始終保持中立的地位。我們的數(shù)據(jù)集成軟件可以與其他所有應(yīng)用和管理軟件平臺(tái)相集成,比如微軟、SAP等廠商的產(chǎn)品。”
大數(shù)據(jù)促進(jìn)業(yè)務(wù)增長
“數(shù)據(jù)分析是今后企業(yè)在競(jìng)爭中保持優(yōu)勢(shì)的一個(gè)主要手段。如果你現(xiàn)在不認(rèn)真對(duì)待大數(shù)據(jù),那么競(jìng)爭對(duì)手就有可能超過你,并取代你。”托尼·楊表示,“大數(shù)據(jù)與SOA(面向服務(wù)的體系結(jié)構(gòu))不同。SOA不能直接給企業(yè)帶來商業(yè)價(jià)值,而大數(shù)據(jù)與企業(yè)的業(yè)務(wù)績效直接相關(guān)。企業(yè)的CIO必須重視大數(shù)據(jù)的處理與應(yīng)用。”
篇10
行業(yè)的顛覆和重構(gòu)早已開始,全方位客戶體驗(yàn)、靈活高效的業(yè)務(wù)流程、智慧化產(chǎn)品與服務(wù)、創(chuàng)新的商業(yè)模式被各大運(yùn)營商不約而同地選擇為其轉(zhuǎn)型戰(zhàn)略的核心,而這些方面的基礎(chǔ)則都是大數(shù)據(jù)。
用戶行為和需求的變化已成為電信轉(zhuǎn)型的核心驅(qū)動(dòng)力。正如中國移動(dòng)董事長奚國華所說:“要做可靠的數(shù)字化服務(wù)專家。”運(yùn)營商向數(shù)字服務(wù)提供商轉(zhuǎn)型勢(shì)在必行。從語音、短信、寬帶服務(wù)等簡單的傳統(tǒng)電信業(yè)務(wù)轉(zhuǎn)變?yōu)樘峁┮魳贰⑽锫?lián)網(wǎng)、視頻、智能家居等多樣的數(shù)字業(yè)務(wù)。
在產(chǎn)業(yè)環(huán)境正從消費(fèi)互聯(lián)網(wǎng)向產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展的時(shí)代契機(jī)下,研究機(jī)構(gòu)數(shù)據(jù)顯示,全球超過60%的企業(yè)已成為數(shù)字化轉(zhuǎn)型的探索者和實(shí)踐者,而在電信行業(yè),預(yù)計(jì)到2024年,包括數(shù)字媒體、云服務(wù)市場(chǎng)、垂直行業(yè)解決方案等領(lǐng)域,電信行業(yè)數(shù)字化轉(zhuǎn)型將醞釀超過15億美元的巨大市場(chǎng)機(jī)會(huì)。
在國內(nèi),三大運(yùn)營商的各級(jí)公司已經(jīng)將大數(shù)據(jù)作為其在移動(dòng)互聯(lián)網(wǎng)時(shí)代企業(yè)轉(zhuǎn)型的戰(zhàn)略性工作,并在不同程度上開始試點(diǎn)大數(shù)據(jù)系統(tǒng)的建設(shè)與應(yīng)用,以充分挖掘數(shù)據(jù)資產(chǎn)價(jià)值,創(chuàng)造新的利潤點(diǎn)。
把握大數(shù)據(jù)引擎
電信運(yùn)營商的業(yè)務(wù)模式正在悄然發(fā)生著轉(zhuǎn)變,電信運(yùn)營商坐擁社會(huì)化的信息傳輸管道,是數(shù)據(jù)的共享和交換的天然平臺(tái)和中心,擁有無可比擬的海量數(shù)據(jù)。
對(duì)于大數(shù)據(jù)的整合和挖掘深化了信息技術(shù)的應(yīng)用,催生新的運(yùn)營模式、應(yīng)用和新的業(yè)態(tài)的出現(xiàn),運(yùn)營商目前對(duì)于大數(shù)據(jù)的的應(yīng)用提升了管理和決策的智能化水平。
若要登上互聯(lián)網(wǎng)時(shí)代的高地,在華為看來,要做國家ICT規(guī)劃師、成為全業(yè)務(wù)運(yùn)營商、數(shù)字使能運(yùn)營商與智能管道運(yùn)營商將是運(yùn)營商數(shù)字化轉(zhuǎn)型的四大戰(zhàn)略定位。
“從數(shù)據(jù)、到洞察、到形成商業(yè)模式,華為在實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的各個(gè)階段愿為運(yùn)營商業(yè)務(wù)運(yùn)營、業(yè)務(wù)調(diào)度提供大數(shù)據(jù)分析的綜合平臺(tái)解決方案。”王紀(jì)奎表示。華為大數(shù)據(jù)平臺(tái)解決方案FusionInsight,正是基于華為對(duì)電信行業(yè)大數(shù)據(jù)應(yīng)用的深刻理解,深諳行業(yè)ICT轉(zhuǎn)型的需求,通過聯(lián)合創(chuàng)新、深度探索運(yùn)營商新的商業(yè)模式和盈利增長點(diǎn)而提出的。
為了幫助電信運(yùn)營商要真正利用自身海量的數(shù)據(jù)資源優(yōu)勢(shì),將數(shù)據(jù)分析運(yùn)用到實(shí)際運(yùn)營中,以進(jìn)一步提升業(yè)務(wù)模式、利潤及用戶體驗(yàn),華為FusionInsight大數(shù)據(jù)解決方案自設(shè)計(jì)之初就是以業(yè)務(wù)為中心,真正形成業(yè)務(wù)驅(qū)動(dòng)的大數(shù)據(jù)架構(gòu),為運(yùn)營商的數(shù)字化轉(zhuǎn)型提供全方位的支持。
記者了解到,華為FusionInsight大數(shù)據(jù)解決方案包括多個(gè)平臺(tái)。其中大數(shù)據(jù)基礎(chǔ)處理平臺(tái)提供海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的采集、存儲(chǔ)、批處理、內(nèi)存計(jì)算和實(shí)時(shí)流計(jì)算的能力;大數(shù)據(jù)洞察平臺(tái)提供百萬維大數(shù)據(jù)特征的提取、管理、建模的能力,使客戶更專注大數(shù)據(jù)業(yè)務(wù)開發(fā)本身。
王紀(jì)奎介紹,目前,華為的大數(shù)據(jù)解決方案通過建立融合的數(shù)據(jù)模型,可提供超過900種數(shù)據(jù)適配模式,為運(yùn)營商的數(shù)據(jù)整合和處理效率獲得30%的提升。
在平臺(tái)層面,已經(jīng)聚合了超過1000家合作伙伴,包括500種數(shù)據(jù)產(chǎn)品,具備超過300個(gè)開放的API接口,能夠?yàn)檫\(yùn)營商更方便地使用大數(shù)據(jù)提供快速部署能力。在智能控制中心層面,3000多個(gè)客戶標(biāo)簽和300多個(gè)業(yè)務(wù)知識(shí)的形成和積累,能夠?yàn)榭蛻籼峁┬r(shí)級(jí)的分析能力以及數(shù)百萬/秒的處理能力。
在此基礎(chǔ)上,擁有多種成熟、高效、靈活的方案實(shí)踐和場(chǎng)景,華為大數(shù)據(jù)解決方案能夠幫助運(yùn)營商把握大數(shù)據(jù)這一業(yè)務(wù)發(fā)展的引擎,引領(lǐng)電信大數(shù)據(jù)應(yīng)用的方向。
為運(yùn)營商謀數(shù)字紅利
在數(shù)字化轉(zhuǎn)型的具體路徑方面,華為認(rèn)為,電信模式、平臺(tái)模式、數(shù)據(jù)模式再到全連接模式,是電信數(shù)字化轉(zhuǎn)型呈現(xiàn)出的四個(gè)主要階段。全球運(yùn)營商分別處在不同的階段。雖然全球的運(yùn)營商在轉(zhuǎn)型架構(gòu)方面目標(biāo)統(tǒng)一,但是,不同運(yùn)營商實(shí)施的步驟和發(fā)力點(diǎn)卻各有異同。
與國外相比,國內(nèi)運(yùn)營商從大部分收入以傳統(tǒng)語音、短信等基礎(chǔ)服務(wù)為主的享受“人口紅利”的階段,已經(jīng)邁向了以語音和數(shù)據(jù)業(yè)務(wù)為主的“流量紅利”的階段,但仍不如國外運(yùn)營商所享受到的效益高。
篇11
第一大趨勢(shì)是DM系統(tǒng)將成為大數(shù)據(jù)技術(shù)在移動(dòng)終端平臺(tái)上應(yīng)用的重要渠道。
隨著近年來企業(yè)信息化的快速發(fā)展,社會(huì)化網(wǎng)絡(luò)的興起以及云計(jì)算、移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等新一代信息技術(shù)的廣泛應(yīng)用,信息數(shù)據(jù)以每年超過50%的速度爆發(fā)式增長,大數(shù)據(jù)成為“信息爆炸”背景下IT發(fā)展的必然。
目前,數(shù)據(jù)分析已經(jīng)不再局限于結(jié)構(gòu)化的歷史數(shù)據(jù),而是更傾向于分析來自于社交網(wǎng)絡(luò)、在線交易記錄、視頻、電子郵件以及來電信息等非結(jié)構(gòu)化的數(shù)據(jù)信息,而這些非結(jié)構(gòu)化的大數(shù)據(jù)信息將會(huì)更多聚集在移動(dòng)終端平臺(tái)上。DM系統(tǒng)可有效地探知移動(dòng)終端的信息及用戶使用行為信息,這些信息最終會(huì)形成龐大的信息數(shù)據(jù)庫,大數(shù)據(jù)的應(yīng)用將使這些有意義的數(shù)據(jù)信息得到專業(yè)化處理。因此,未來DM系統(tǒng)作為一種獲取移動(dòng)終端信息數(shù)據(jù)的有效渠道,將會(huì)和大數(shù)據(jù)交融發(fā)展。
篇12
憑借多年的發(fā)展路徑和能力沉淀,基于技術(shù)、數(shù)據(jù)、應(yīng)用三大核心能力,通過大數(shù)據(jù)技術(shù)和商業(yè)模式創(chuàng)新,泰一指尚整合構(gòu)建了包括營銷大數(shù)據(jù)平臺(tái)、移動(dòng)化平臺(tái)及廣告平臺(tái)在內(nèi)的三大能力開放平臺(tái),面向傳統(tǒng)媒體、傳統(tǒng)廣告公司及傳統(tǒng)企業(yè)提供數(shù)據(jù)咨詢、數(shù)據(jù)能力開放、數(shù)據(jù)平臺(tái)和廣告平臺(tái)定制開發(fā)、移動(dòng)電商和移動(dòng)媒體解決方案等一體化的“互聯(lián)網(wǎng)+”服務(wù),幫助傳統(tǒng)企業(yè)形成數(shù)據(jù)商業(yè)化能力、業(yè)務(wù)移動(dòng)化以及自有數(shù)字營銷能力,打通品牌公信、銷售通路以及用戶獲取。
數(shù)據(jù)商業(yè)化能力是指依靠對(duì)智能管道數(shù)據(jù)、全網(wǎng)爬蟲數(shù)據(jù)及第三方合作數(shù)據(jù)的抓取,再基于對(duì)DMP(大數(shù)據(jù)管理平臺(tái))的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和細(xì)分,進(jìn)而提供極具價(jià)值的商業(yè)化能力,最終實(shí)現(xiàn)數(shù)據(jù)可視化的多樣性應(yīng)用。泰一指尚擁有移動(dòng)電商和移動(dòng)媒體解決方案,能為企業(yè)提供移動(dòng)互聯(lián)網(wǎng)一站式服務(wù),助力企業(yè)快速、低成本的擁有移動(dòng)電商能力和形成媒體能力,使企業(yè)具備業(yè)務(wù)移動(dòng)化能力,助其構(gòu)建移動(dòng)化平臺(tái)。此外,泰一指尚以大數(shù)據(jù)平臺(tái)為基礎(chǔ),結(jié)合傳統(tǒng)媒體自身的強(qiáng)勢(shì)資源,使其具備自有數(shù)字營銷能力,通過高效而科學(xué)的投放策略提升在線廣告價(jià)值,助力其構(gòu)建廣告平臺(tái)。目前,泰一指尚通過敏銳的市場(chǎng)洞察和行業(yè)服務(wù)經(jīng)驗(yàn),形成了覆蓋金融、汽車、傳媒、電商等在內(nèi)的“互聯(lián)網(wǎng)+”解決方案,推動(dòng)企業(yè)的商業(yè)創(chuàng)新和轉(zhuǎn)型升級(jí)。
基于對(duì)大數(shù)據(jù)技術(shù)的深入應(yīng)用和不斷創(chuàng)新,泰一指尚于2013年推出國內(nèi)首個(gè)大數(shù)據(jù)管理平臺(tái)――Atlas云圖。該平臺(tái)具備海量數(shù)據(jù)、實(shí)時(shí)計(jì)算等特點(diǎn),旨在對(duì)數(shù)據(jù)的深層次關(guān)系進(jìn)行挖掘,構(gòu)建可視化的大數(shù)據(jù)平臺(tái)。
三大能力+ Atlas云圖是泰一指尚為傳統(tǒng)企業(yè)勾畫的以“大數(shù)據(jù)”為核心的轉(zhuǎn)型升級(jí)新藍(lán)圖,這使得企業(yè)生態(tài)鏈上的各個(gè)環(huán)節(jié)實(shí)現(xiàn)真正的數(shù)據(jù)化,打破了“傳統(tǒng)時(shí)代”的信息局限,全面實(shí)現(xiàn)互聯(lián)網(wǎng)化變革。
加快“互聯(lián)網(wǎng)+”落地,
泰一指尚在行動(dòng)
付海鵬認(rèn)為,“互聯(lián)網(wǎng)+”的落地實(shí)施,重點(diǎn)應(yīng)包括一系列技術(shù)平臺(tái)和商業(yè)模式頂層設(shè)計(jì)在內(nèi)的“互聯(lián)網(wǎng)+”解決方案,而大數(shù)據(jù)應(yīng)成為 “互聯(lián)網(wǎng)+”的核心引擎。
篇13
相信大家都還記得2013年5月10日淘寶十周年晚會(huì)上,阿里巴巴集團(tuán)董事局主席馬云在其卸任集團(tuán)CEO職位的演講中說到:“大家還沒搞清PC時(shí)代的時(shí)候,移動(dòng)互聯(lián)網(wǎng)來了,還沒搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候,大數(shù)據(jù)時(shí)代來了。”
什么是大數(shù)據(jù)?
早在1980年,當(dāng)時(shí)著名的未來學(xué)家阿爾文·托夫勒便在其著作《第三次浪潮》中熱情洋溢地將大數(shù)據(jù)贊頌為“第三次浪潮的華彩樂章”。不過直到時(shí)光抵達(dá)2009年,“大數(shù)據(jù)”才開始成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。
環(huán)顧四周,我們都已經(jīng)切身感受到了當(dāng)今的信息量正在以前所未有的速度膨脹。當(dāng)我們的普通民眾在上世紀(jì)90年代剛剛接觸個(gè)人計(jì)算機(jī)的時(shí)候,1MB的磁盤,1GB的硬盤已經(jīng)是不錯(cuò)的配置。然而現(xiàn)在呢?GB、TB都已經(jīng)無法滿足我們丈量數(shù)據(jù)大小的需要,PB、EB、ZB已經(jīng)義無反顧地承擔(dān)起了丈量數(shù)據(jù)的大任。
隨著互聯(lián)網(wǎng)自媒體的普及,每天都有數(shù)以億計(jì)的人在發(fā)微博、寫微信、更新個(gè)人主頁、使用社交網(wǎng)站、發(fā)表個(gè)人評(píng)論……全球互聯(lián)網(wǎng)上每天會(huì)有220萬TB的新數(shù)據(jù)產(chǎn)生,90%的數(shù)據(jù)都是在過去的24個(gè)月內(nèi)創(chuàng)造出來的,如今,這個(gè)比例還在不斷上升。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數(shù)據(jù)時(shí)代》中,他們對(duì)大數(shù)據(jù)的表述是:大數(shù)據(jù)(big data),或稱巨量資料,指的是所涉及的資料量規(guī)模巨大到無法透過目前主流軟件工具,在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。他們對(duì)大數(shù)據(jù)的特性進(jìn)行了歸納,提出了4V特點(diǎn),即Volume(數(shù)據(jù)量大)、Velocity(要求實(shí)時(shí)性強(qiáng))、Variety(數(shù)據(jù)的種類多樣)、Value(數(shù)據(jù)是有價(jià)值的)。
而《互聯(lián)網(wǎng)周刊》則認(rèn)為“大數(shù)據(jù)”的概念遠(yuǎn)不止大量的數(shù)據(jù)和處理大量數(shù)據(jù)的技術(shù),或者所謂的“4V特點(diǎn)”之類的簡單概念。大數(shù)據(jù)是涵蓋了人們?cè)诖笠?guī)模數(shù)據(jù)的基礎(chǔ)上所能做到的事務(wù),而這些事務(wù)在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法實(shí)現(xiàn)的。換句話說,大數(shù)據(jù)讓我們能夠以一種前所未有的方式,通過對(duì)海量數(shù)據(jù)進(jìn)行分析,獲得具有巨大價(jià)值的產(chǎn)品和服務(wù),或者深刻的洞見,進(jìn)而最終形成變革世界的力量。
2大數(shù)據(jù)應(yīng)用的現(xiàn)狀分析
最早提出世界已經(jīng)迎來“大數(shù)據(jù)”時(shí)代的機(jī)構(gòu)則是全球知名的咨詢公司——麥肯錫。麥肯錫在其研究報(bào)告中指出:數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,逐漸成為重要的生產(chǎn)因素;而人們對(duì)于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一波生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。
大家都或多或少地意識(shí)到應(yīng)該能從這些海量的數(shù)據(jù)中獲取些什么,然而究竟我們能獲取到什么呢?
一個(gè)被廣為傳播的典型案例是:在2012年初美國的一家Target超市,一位憤怒的父親突然闖進(jìn)來對(duì)店鋪經(jīng)理咆哮道:“你們竟然給我17歲的女兒發(fā)嬰兒尿片和童車的優(yōu)惠券,她才17歲啊!”經(jīng)理下意識(shí)地認(rèn)為是店里出了問題,也許是誤發(fā)了優(yōu)惠券,于是立即向這位父親道歉。然而經(jīng)理卻沒有意識(shí)到,其實(shí)這是公司正在運(yùn)行的一套大數(shù)據(jù)系統(tǒng)得出的分析結(jié)論。
Target會(huì)從其會(huì)員的購買記錄中去了解該顧客的性格、類別等一些列業(yè)務(wù)活動(dòng)。上面的例子正是Target為適齡女性創(chuàng)建的一套懷孕期變化分析模型,如果相關(guān)客戶第一次購買了嬰兒用品,系統(tǒng)將會(huì)在接下去的幾年中根據(jù)嬰兒的生長周期向顧客推薦相關(guān)的產(chǎn)品,從而培養(yǎng)和提高客戶的忠誠度。
果然,一個(gè)月后,該名憤怒的父親打電話給商鋪道歉,因?yàn)門arget發(fā)來的嬰兒用品優(yōu)惠券不是誤會(huì),他的女兒確實(shí)懷孕了。
利用數(shù)據(jù)挖掘用戶的行為習(xí)慣和喜好,在凌亂紛繁的數(shù)據(jù)背后發(fā)掘出更符合用戶興趣和習(xí)慣的信息、產(chǎn)品和服務(wù),并對(duì)這些目標(biāo)化的信息、產(chǎn)品和服務(wù)進(jìn)行針對(duì)性地調(diào)整和優(yōu)化,這便是大數(shù)據(jù)能帶給商家最誘人的價(jià)值之一。
隨著社交網(wǎng)絡(luò)在人們生產(chǎn)生活中地位的快速提升,大量UGC(User Generated Content用戶自生成的內(nèi)容)進(jìn)入互聯(lián)網(wǎng),上述價(jià)值的實(shí)現(xiàn)也變得越來越明顯。
事實(shí)上,全球IT業(yè)巨頭都已經(jīng)意識(shí)到數(shù)據(jù)的重要意義和“大數(shù)據(jù)”時(shí)代的到來。包括IBM、EMC、惠普、微軟在內(nèi)的全球知名跨國公司都陸續(xù)通過收購與“大數(shù)據(jù)”相關(guān)的廠商來實(shí)現(xiàn)技術(shù)整合。
目前典型的大數(shù)據(jù)應(yīng)用領(lǐng)域有:
商業(yè)智能。例如:用戶行為分析,即結(jié)合用戶資料、產(chǎn)品、服務(wù)、計(jì)費(fèi)、財(cái)務(wù)等信息進(jìn)行綜合分析,得出細(xì)致、精確的結(jié)果,實(shí)現(xiàn)對(duì)用戶個(gè)性化的策略控制,這在營銷網(wǎng)絡(luò)的流量經(jīng)營分析中占有越來越舉足輕重的地位。個(gè)性化推薦,即在各類增值業(yè)務(wù)中,根據(jù)用戶喜好推薦各類業(yè)務(wù)或應(yīng)用,這已成為運(yùn)營商和門戶提供商服務(wù)用戶的一個(gè)最有效方式之一,比如應(yīng)用商店的軟件推薦、IPTV視頻節(jié)目的點(diǎn)播推薦、購物或旅游網(wǎng)站的猜你喜歡等。
公共服務(wù)。一方面,公共機(jī)構(gòu)可以利用大數(shù)據(jù)技術(shù)把積累的海量歷史數(shù)據(jù)進(jìn)行挖掘利用,從而提供更為廣泛和深度的公共服務(wù),如實(shí)時(shí)路況和交通引導(dǎo);另一方面,公共機(jī)構(gòu)也可以通過對(duì)某些領(lǐng)域的大數(shù)據(jù)實(shí)時(shí)分析,提高危機(jī)的預(yù)判能力,如疾病預(yù)防、環(huán)境保護(hù)等,為實(shí)現(xiàn)更好、更科學(xué)的危機(jī)響應(yīng)提供技術(shù)基礎(chǔ)。
政府決策。通過對(duì)數(shù)據(jù)的挖掘,從而有效提高政府決策的科學(xué)性和時(shí)效性。例如:日本大地震發(fā)生后僅僅9分鐘,美國國家海洋和大氣管理局(NOAA)就了詳細(xì)的海嘯預(yù)警。并且隨即NOAA通過對(duì)海洋傳感器獲得的實(shí)時(shí)數(shù)據(jù)進(jìn)行了計(jì)算機(jī)模擬,制定出詳細(xì)的應(yīng)急方案,并將制作的海嘯影響模型實(shí)時(shí)在了YouTube等網(wǎng)站上。
3大數(shù)據(jù)解決方案的現(xiàn)狀分析
以往談及大的數(shù)據(jù)通常用來形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。如今把“大數(shù)據(jù)”作為一個(gè)專有名詞提及,通常指的是解決問題的一種方法,即通過收集和整理生產(chǎn)生活中方方面面的數(shù)據(jù),然后對(duì)其進(jìn)行整理、挖掘、分析、處理,進(jìn)而從中獲得有用的價(jià)值信息。這種衍化出的新的商業(yè)模式即為通常意義上的大數(shù)據(jù)解決方案。
雖然通常意義上的大數(shù)據(jù)解決方案描述了一種通常的行為,但要實(shí)現(xiàn)這種通常的行為,往往會(huì)遇到諸多技術(shù)和硬件上的問題。一個(gè)顯而易見的問題就是:大數(shù)據(jù)包絡(luò)萬象,而且像音頻、文本信息、視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)正以突飛猛進(jìn)的速度增長,加上移動(dòng)互聯(lián)網(wǎng)的普及所帶來的如位置、生活信息等富含價(jià)值的數(shù)據(jù),現(xiàn)有的,或者傳統(tǒng)的對(duì)數(shù)據(jù)的處理手段和硬件配置已越來越跟不上數(shù)據(jù)發(fā)展的步伐。
于是革命爆發(fā)了!
哈佛大學(xué)社會(huì)學(xué)教授加里·金就說道:“這是一場(chǎng)革命,龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開始了量化進(jìn)程,無論學(xué)術(shù)界、商界還是政府,所有領(lǐng)域都將開始這種進(jìn)程。”
數(shù)據(jù)需要存儲(chǔ),存儲(chǔ)需要設(shè)備,存儲(chǔ)設(shè)備的容量和可擴(kuò)展性以及讀取的速度成為了一大問題(容量問題);大數(shù)據(jù)不是一日而成的,往往都需要一定周期的積累,在數(shù)據(jù)的積累過程中,以前的數(shù)據(jù)和現(xiàn)在的數(shù)據(jù)在存儲(chǔ)上應(yīng)該是能保持一致的,無論設(shè)備升級(jí)與否,而且這些數(shù)據(jù)要長期有效,這是一個(gè)持久的問題(積累問題);與持久相對(duì)應(yīng)的,互聯(lián)網(wǎng)是變化的、經(jīng)濟(jì)活動(dòng)是變化的、整個(gè)世界都是變化的,針對(duì)某些實(shí)時(shí)問題,如交易、金融等,用已經(jīng)過去的數(shù)據(jù)顯然是不合適的,這也是一大問題(延遲問題);大數(shù)據(jù)包絡(luò)萬象,有些是可以隨意獲得、和消除的,有些,如金融數(shù)據(jù)、醫(yī)療信息、政府情報(bào)等,則是需要按不同級(jí)別進(jìn)行保護(hù)和加密的,特別是在需要交叉數(shù)據(jù)參考的應(yīng)用中,不同部分的數(shù)據(jù)有著不同的安全需要,這又是一大問題(安全問題);為了滿足上述問題,我們顯然可以通過不斷加大投入,購買更多的存儲(chǔ)設(shè)備、雇傭跟多的工作人員、建設(shè)更多的數(shù)據(jù)中心和分析中心,但這一切都是由成本的,特別是對(duì)于以盈利為目的的商業(yè)機(jī)構(gòu)而言,成本和收益永遠(yuǎn)都是最優(yōu)先考慮的問題之一(成本問題);當(dāng)然還有很多其他的問題,這里就不一一羅列了。
驅(qū)動(dòng)商業(yè)機(jī)構(gòu)解決上述問題的動(dòng)力肯定是商業(yè)利益。以全球知名的IT制造與服務(wù)和咨詢提供商IBM為例,其全球CEO調(diào)研顯示,唯有在數(shù)據(jù)獲取、將數(shù)據(jù)轉(zhuǎn)換為洞察力、再將洞察力轉(zhuǎn)化為行動(dòng)力等方面表現(xiàn)優(yōu)秀的企業(yè),才能有持續(xù)的績效表現(xiàn)。績效突出者從海量數(shù)據(jù)中挖掘出有價(jià)信息的能力是績效不佳者的2倍。
IBM認(rèn)為由于當(dāng)今企業(yè)、市場(chǎng)、社會(huì)、政府之間的聯(lián)系變得越來越緊密,傳統(tǒng)的數(shù)據(jù)分析正日益呈現(xiàn)出“大數(shù)據(jù)”時(shí)代的新特點(diǎn),即容量要求更高、速度要求更快、數(shù)據(jù)類型多樣和數(shù)據(jù)來源復(fù)雜4個(gè)方面。結(jié)合多家領(lǐng)先市場(chǎng)咨詢機(jī)構(gòu)的調(diào)研數(shù)據(jù)顯示:
2010-2015年,“大數(shù)據(jù)”市場(chǎng)年均符合增長率為39.4%,將是整個(gè)信息與通信技術(shù)市場(chǎng)增速的7倍;管理及維護(hù)數(shù)據(jù)的成本將是購買存儲(chǔ)設(shè)備所需成本的4倍;全球數(shù)據(jù)量的年均復(fù)合增長速度為59%;未來需要分析的信息源中,混合類型數(shù)據(jù)所占比重將高達(dá)85%;數(shù)據(jù)分析直接受到服務(wù)器性能制約的數(shù)據(jù)量將占到總體的87%;僅2012年一年,服務(wù)器在整體“大數(shù)據(jù)”市場(chǎng)投資中就將占去14%的比重。
這就意味著傳統(tǒng)計(jì)算的低效正在為企業(yè)發(fā)展帶來阻礙,企業(yè)感到當(dāng)前的IT系統(tǒng)變得更加復(fù)雜且難以管理。數(shù)據(jù)顯示:企業(yè)用于運(yùn)營和維護(hù)IT系統(tǒng)的費(fèi)用已經(jīng)超過整體預(yù)算的70%,并且這一比例仍在持續(xù)增長;企業(yè)有三分之二的IT項(xiàng)目及解決方案部署超出了原定計(jì)劃;IT架構(gòu)的復(fù)雜度將以當(dāng)前速度每兩年就增加一倍。
于是出乎絕大多數(shù)人意料的事情發(fā)生了:IT部門,這個(gè)曾經(jīng)作為企業(yè)現(xiàn)代化和創(chuàng)新化能力標(biāo)志的部門,正越來越成為企業(yè)新創(chuàng)新的阻力而非動(dòng)力。
怎么辦?
很多人立即想到了另外一個(gè)熱詞:“云計(jì)算”。
IBM全球高級(jí)副總裁Rod Adkins認(rèn)為,當(dāng)前全球IT領(lǐng)域有了令人振奮的發(fā)展趨勢(shì)和挑戰(zhàn),現(xiàn)在每天有大量數(shù)據(jù)和信息生成,這為大數(shù)據(jù)分析提供了機(jī)會(huì);數(shù)據(jù)中心的挑戰(zhàn)也為IT提供了新機(jī)會(huì),比如云計(jì)算,能降低數(shù)據(jù)中心成本。
EMC資深產(chǎn)品經(jīng)理李君鵬認(rèn)為,大數(shù)據(jù)本身就是一個(gè)問題集,云技術(shù)是目前解決大數(shù)據(jù)問題集最重要有效的手段。云計(jì)算提供了基礎(chǔ)架構(gòu)平臺(tái),大數(shù)據(jù)應(yīng)用在這個(gè)平臺(tái)上運(yùn)行。目前公認(rèn)處理大數(shù)據(jù)集最有效手段的分布式處理,也是云計(jì)算思想的一種具體體現(xiàn)。Teradata技術(shù)總監(jiān)Stephen Brobst則表示,公有云架構(gòu)對(duì)數(shù)據(jù)倉庫沒有影響,因?yàn)槠髽I(yè)的CIO不會(huì)無緣無故把財(cái)務(wù)數(shù)據(jù)或者客戶數(shù)據(jù)放到云上,那樣很危險(xiǎn)。然而,是私有云架構(gòu)確實(shí)有影響:第一,通過私有云,可以鞏固數(shù)據(jù)集市,減少利用率不足的問題;第二,可以通過靈敏的方式將數(shù)據(jù)集成,實(shí)現(xiàn)業(yè)務(wù)價(jià)值。
于是有人就此理解為:大數(shù)據(jù)的最佳解決方案是采用云計(jì)算和分布式處理,利用互聯(lián)網(wǎng)將運(yùn)算能力、存儲(chǔ)能力都做分布式的處理,認(rèn)為這樣做就可以最大程度上地降低成本、增加擴(kuò)展性和靈活性。
然而事實(shí)真的如此嗎?
讓我們來分析一下最近IBM公司在國內(nèi)針對(duì)百萬人口的城市級(jí)信息中心制定的解決方案:
面對(duì)數(shù)量龐大且增長迅速的各類交通信息:120萬輛機(jī)動(dòng)車電子卡、4萬輛機(jī)動(dòng)車的實(shí)時(shí)GPS定位、200萬筆公交IC卡數(shù)據(jù)、518個(gè)高清卡口的113億張圖片等,該市信息中心的領(lǐng)導(dǎo)意識(shí)到,當(dāng)前多個(gè)項(xiàng)目能源消耗大、占地要求非常高、并且原有的網(wǎng)絡(luò)設(shè)備難以滿足新增的需求,網(wǎng)絡(luò)設(shè)備經(jīng)常更換,并且這些相互獨(dú)立的數(shù)據(jù)庫、服務(wù)器和存儲(chǔ),以及不同的訪問權(quán)限和沒有統(tǒng)一的管理界面,讓本就壓力巨大的數(shù)據(jù)中心的效率大打折扣,同時(shí)也極大浪費(fèi)了寶貴的人力、能源和其他各種資源。
IBM給出的解決方案是:
首先,在基礎(chǔ)平臺(tái)上摒棄了分布式的服務(wù)器架構(gòu),而是采用大型服務(wù)器在基礎(chǔ)架構(gòu)上對(duì)處理能力、I/O吞吐和主存儲(chǔ)進(jìn)行了整合,這樣做的最大亮點(diǎn)是,將原有成百計(jì)的分布式服務(wù)器整合到了個(gè)位數(shù),極大地節(jié)省了空間和能源,做到綠色環(huán)保;因?yàn)椴挥每紤]各分布式服務(wù)器之間的互通互聯(lián)和各服務(wù)器之間的狀態(tài)及負(fù)載均衡與調(diào)配,節(jié)省了相當(dāng)數(shù)量的管理人員;另外大型服務(wù)器自身端到端的管理功能和適用于異構(gòu)工作負(fù)載且基于策略的框架,有效幫助信息中心實(shí)現(xiàn)中心控制,實(shí)現(xiàn)極高的性能。
其次,在整合的基礎(chǔ)平臺(tái)之上,采用“云計(jì)算”框架虛擬化設(shè)計(jì),實(shí)現(xiàn)了智能交通和政務(wù)網(wǎng)站的整合。這一方案讓用戶在使用上可以享受與分布式架構(gòu)相同甚至更加優(yōu)越的性能。由基礎(chǔ)平臺(tái)通過虛擬化形成的任意數(shù)量的虛機(jī),在統(tǒng)一云管理軟件URM的配置下,能夠提供統(tǒng)一的管理視圖和管理機(jī)制,簡化在多套異構(gòu)業(yè)務(wù)系統(tǒng)環(huán)境下系統(tǒng)的運(yùn)營和維護(hù)工作。
而在本方案中的存儲(chǔ)部分則采用了運(yùn)行穩(wěn)定、性能領(lǐng)先、技術(shù)成熟的SAN網(wǎng)絡(luò)架構(gòu),具有很好的穩(wěn)定性,能為前端各應(yīng)用提供可靠的數(shù)據(jù)存儲(chǔ)平臺(tái),并且整個(gè)SAN網(wǎng)絡(luò)中的部件都配置了雙冗余組件,保證任一部件的損壞不會(huì)影響整個(gè)系統(tǒng)的運(yùn)行,而關(guān)鍵數(shù)據(jù)庫的數(shù)據(jù)都通過合理的備份策略,定期備份在了物理磁帶上,保證關(guān)鍵數(shù)據(jù)的絕對(duì)安全。
總結(jié)下來,整合的基礎(chǔ)平臺(tái),“云計(jì)算”框架的虛擬化設(shè)計(jì),和定制化的高速存儲(chǔ),打造出了最穩(wěn)定、最可靠、最安全、最綠色的運(yùn)行環(huán)境,讓政府的大數(shù)據(jù)應(yīng)用完美落地。
可見,大數(shù)據(jù)的解決方案不同于純粹云計(jì)算的解決方案,雖然云計(jì)算帶來了看上去更便宜的處理能力和存儲(chǔ)能力,但對(duì)于往往都有相當(dāng)數(shù)量級(jí)規(guī)模的大數(shù)據(jù)應(yīng)用而言,在基礎(chǔ)架構(gòu)上巧妙地整合和部分的集中,反而能更好地解決安全性、可靠性、穩(wěn)定性和綠色環(huán)保的需要。