本書提出一種SMART方法,助你建立智能業務,掌控大數據的力量,無論企業大小。全文結構依據SMART方法展開,每章講解模型的一部分,然后提供一些有用的案例。
全書共6章,第1章主要介紹當前使用大數據進行商業分析的一些成功案例,從這些案例中可以發現大數據的魅力。第2章介紹制定戰略時,需要先拋開數據,從企業目標和愿景開始,切合實際地找到適合自己企業的戰略。第3章主要介紹商業數據的分類,可分為文本數據、聲音數據、圖像數據、視頻數據和傳感器數據,并介紹這些不同類別數據的特點。第4章介紹數據的分析方法,包括文本分析、語義分析、視頻/圖像分析、聯合分析等分析方法,通過使用這些方法,從大數據中提取有用的想法,回答戰略問題。第5章著重介紹數據可視化的形式,包括圖形和表格、傳統的報告、顯示地圖、文本、數據、行為、情緒和聯系的信息圖,并介紹進行數據可視化應注意的問題。第6章介紹使用大數據改變商業運行模式的典型案例,主要包括:美國零售超市Target的懷孕預測模型、沃爾瑪超市通過大數據處理改進優化業務流程、亞馬遜運用大數據分析來改進業務流程和零售體驗、早產嬰兒房的大數據監控、個人分析和健康監控設備、IBM的智能分析平臺SlamTracker研究網球錦標賽、飛機引擎制造商勞斯萊斯的大數據運營商業模式等。
通過對這些案例的講解,使讀者進入大數據的世界了解到大數據前沿應用者正在以聞所未聞的方式改變著商業模式。
大數據是智能革命的核心。大數據背后的基本思想是,人類一切行為都會留下數字痕跡(或數據),我們(或他人)可以對其加以利用,變得更加智慧。掌握數量日益增加的數據并利用技術能力將其轉化成具有商業價值的想法,是推動新世界的主要力量。無疑大數據正在改變世界,我們的居住、擇偶、治療癌癥、科研、提升績效、管理城市、治理國家和管理企業的方式都因此而發生改變。
本書從如何使用大數據的角度入手,給出了一套詳細且可行的分析框架,以簡明扼要的方式教會我們如何從龐雜的數據中生成一個完整的解決方案。尤為重要的是,該書深刻地揭示了大數據分析所需要的智能化思維方式,對企業的科學決策有著至關重要的作用,同時對政府和學者掌握大數據技術有著非常好的指導意義。
作者簡介
Bemard Marr(伯納德 馬爾):一位商業暢銷書作家,大數據、分析學、戰略管理、績效管理和關鍵業績指標方面的主題演講者和咨詢師。他幫助公司收集和分析數據,借此改進戰略決策和經營業績。他和世界上諸多大公司、組織及政府的尖端合作獲得了廣泛的稱贊,作為一位咨詢師、研究員和老師,他屢獲大獎。被《首席執行官日報》稱為當今世上的商業智囊,LinkedIn提名入圍世界前100名商業影響者。
譯者簡介
秦磊,畢業于中央財經大學統計與數學學院,獲經濟學博士學位。現為對外經濟貿易大學統計學院講師,碩士生導師,對外經濟貿易大學大數據與風險管理研究中心成員,研究方向為數據挖掘。
曹正鳳,統計學博士,人大經濟論壇大數據中心總工程師,人大經濟論壇Hadoop大數據分析師培訓負責人,北京石油化工學院實驗師。致力于大數據分析前沿領域研究,主持人大經濟論壇基于Hadoop架構的論壇主題推薦系統項目,參與國家社科基金項目《基于大數據整合的空氣質量測度方法研究》,發表多篇論文。出版著作《從零進階:數據分析的統計
引 言 歡迎來到更為智能的世界 / 1
智能運動 / 2
智能保健 / 3
智能家居 / 4
智能戀愛 / 5
智能育兒 / 6
第 1 章 商業智能化 / 8
誰是大數據用戶? / 9
公司是如何運用大數據的 / 11
別慌! / 15
專心收獲成果 / 16
第 2 章 S:制定智能戰略 / 19
大數據世界,小就是美 / 22
SMART 戰略板 / 25
梨樹隱喻 / 27
實踐中的 SMART 戰略板 / 29
問對了問題是成功的一半 / 35
SMART 分析技術和谷歌 / 37
案例研究:Oxygen 計劃 / 38
重點和行動綱領 / 43
第 3 章 M:度量指標和數據 / 44
數據類型 / 45
結構化數據 / 46
非結構化數據和半結構化數據 / 47
內部數據 / 48
外部數據 / 49
數據庫:數據的新形式 / 50
活動數據 / 51
會話數據 / 54
照片和音頻數據 / 55
傳感器數據 / 58
物聯網 / 61
大數據的分解 / 63
大數據反彈 / 64
如何測量和使用數據來獲得戰略性優勢 / 67
確認你需要測量的數據 / 68
行動上的指標和數據 / 80
重點和行動綱領 / 82
第 4 章 A:運用數據分析技術 / 84
文本分析法 / 87
文本歸類 / 88
文本收集 / 88
概念提取 / 89
情感分析 / 89
文件歸納 / 94
小結 / 94
言語分析法 / 96
小結 / 97
視頻和圖像分析技術 / 99
人臉識別 / 100
行為分析 / 102
態勢感知 / 104
視頻/圖像分析技術已經被投入使用 / 104
負面效應 / 107
聯合分析技術 / 108
聯合分析技術的醫療應用 / 108
聯合分析技術的其他應用 / 110
被點贊說明什么 / 112
透明度 / 115
不斷創造附加值 / 119
預測 VS .隱私 / 120
做正確的事! / 122
重點和行動綱領 / 123
第 5 章 R:展示數據分析結果 / 125
數據可視化 / 126
新式數據可視化 / 131
展示地圖 / 131
展示文本 / 132
展示數據 / 134
展示行為和情緒 / 135
展示關聯 / 136
無限可能 / 139
如何提升數據可視化水平 / 141
信息圖表 / 143
注意自助式商業智能工具 / 148
成功的數據可視化和信息圖的要素 / 152
管理儀表盤 / 154
終有一日壯志凌云 / 155
開發管理儀表盤 / 158
重點和行動綱領 / 161
第 6 章 T:改變商業模式 / 163
更好地理解并定位客戶 / 164
改進優化業務流程 / 168
提高人們的健康和幸福水準 / 170
增強安全性,減少欺詐 / 175
鼓勵提高企業和員工業績 / 176
改善工作場所和其他基礎設施的條件 / 180
新的商業機遇 / 181
智能化也將改變就業 / 187
重點和行動綱領 / 190
結論 / 192
關于作者 / 197
致謝 / 199
商業智能化
大數據是智能革命的核心。大數據背后的基本思想是,人類一切行為都會留下數字痕跡(或數據),我們(或他人)可以對其加以利用,變得更加智慧。掌握數量日益增加的數據并利用技術能力將其轉化成具有商業價值的想法,是推動新世界的主要力量。
無疑,大數據在改變世界。我們的居住、擇偶、治療癌癥、科研、提升績效、管理城市、治理國家和管理企業的方式都因此而發生了的改變。因此,出現了對大數據大量的吹捧和贊美。人人都在談論大數據。大數據也是各個董事會以及包括《經濟學人》、《財富》和《哈佛商業評論》在內的商業出版物經常探討的熱門話題,甚至連主流媒體也加入了。但是盡管人人都在發聲,多數人仍不理解何為大數據,幾乎沒人知道如何利用。就個人而言,我不太喜歡這個新詞,因為它過于簡化,可能誤導人。誠然,如今,我們追蹤和記錄一切信息,所以我們確實擁有獲取海量數據的潛在能力——也就提出了大數據的概念。但是真正的價值不在于數據多少,而在于我們如何利用。與數據量相比,掌握分析大量復雜數據的能力才讓我們與過去不同。云計算與升級的網絡和創新的數據分析能力相連接,讓我們能夠將海量復雜的數據轉換為價值。除此之外,分析能力的取得不再依賴建造超級計算機。也就是說,任何能夠運用大數據的企業、政府部門或個人都能提高決策能力。
分析所謂“非結構化數據”的能力作用巨大(更多內容見第3章)。基本上,非結構化數據不易存儲,在傳統格式和數據庫(如電子郵件交流、社交網絡帖子、視頻內容、照片、錄音和聲音等)中難以索引。將無序復雜的數據與更傳統的數據融合是價值所在。許多公司開始利用大數據分析技術完善傳統數據分析流程,以增加利潤,提升認識,更明智地決策。從效果上看,大數據應該指代智能數據,同時,我認為大數據一詞會逐漸消失,而智能數據的收集和使用必將長存。
誰是大數據用戶?
該領域主要選手是:亞馬遜、谷歌、沃爾瑪和Facebook 等巨頭,且已經取得相當成就。例如,沃爾瑪每小時處理的消費交易超過100萬次,交易數據所占空間為500萬億字節。沃爾瑪現在可將數據與多種資源聯系在一起,包括客戶歷史采購記錄和手機定位信息、內部存貨控制記錄、社交媒體和外部來源消息(如天氣),并發起定向促銷活動。例如,如果你從沃爾瑪買了燒烤相關的產品,你的位置處在距離一家沃爾瑪門店 3 英里半徑范圍內,且陽光明媚,沃爾瑪就會向你的手機發送一張燒烤架清潔劑打折券!
另一個例子是我的一個客戶,那是一家經驗豐富的通信公司,正在使用大數據分析預測消費者滿意度和潛在流失率。根據電話、短信和社交媒體數據分析,該公司能將消費者分成不同的類別。分析顯示,某類消費者更傾向于取消訂單,轉投競爭者。這類極為有用的信息幫助該公司密切監測消費者滿意度,并采取優先措施防止流失,維持滿意度。
今天,即使是中端車也配有40個微處理器監測運行狀況。這些電子設備通常占新車成本的三分之一左右。當然,汽車制造商產生、收集并分析這些信息也帶來了明顯的競爭優勢。一家汽車公司與第三方分析公司合作發現,一臺由德國供應商提供的油箱傳感器性能糟糕。該汽車公司可以告知供應商,要求他們修復,但是與該供應商合作的其他公司也能享用這個改進。所以,該公司開發了一個軟件補丁修復這一問題,申請專利,然后將其回賣給了供應商。
大數據正在改變商業本質,重塑制造業、保健、零售、農業等各行各業。每個可感知活動的信息率和可收集的信息量意味著,在微調流程和業務操作,以及消除后一點低效率方面,機遇越來越多。
公司是如何運用大數據的
不同行業對此的回應方式不一。零售行業盡可能地收集消費者生活的各類信息,以期高效地滿足不斷變化的消費需求。制造業尋求精簡流程,記錄和改良裝備校準設定,監測產品存儲環境,調節周圍環境,限度地降低流失和浪費。
對跨國公司來說,這意味著從全球工廠收集和分析信息,然后研究細微變量,消化和理解研究成果。
例如,2013年,制藥巨頭Merck公司使用分析技術大幅降低由生產環境條件變化導致的浪費。該公司在三個月的時間里,針對550萬批次疫苗的獨立生產數據進行了共150億次運算。這使得他們發現發酵過程中的工況,一旦美國食品藥品管理局批準,可大幅提高產出。
2014年,機動車研究中心的一份報告顯示,先進的IT解決方案和大數據帶來的進步是“創新引擎”。該報告強調了機動車和汽車行業正在日趨復雜化,是汽車制造商的挑戰。
每臺機器和每個人在產品制造過程中的效率都可以得到記錄,這樣公司知道什么有效,以及如何做出必要改進。
在農業方面,數據分析正在為應對糧食增產的挑戰做出貢獻,專家預測,到2050 年,世界糧食產量必須提高 60%才能養活不斷增加的人口。拖拉機和農機制造商John Deere公司已經在其產品中安裝傳感器。農戶可訪問myjohndeere.com獲取數據,一項名為Farmsight的服務幫助農民為農作物生長創造條件。而且,該數據還能幫助John Deere公司推測零部件更換需求。
當然,對企業來說,產品種出來或生產出來后還要賣出去。零售巨頭收集的包括你我在內的顧客信息告訴他們,誰會買什么,以及何時何地購買。例如,亞馬遜使用S3系統監測數百萬條存貨信息,這些存貨位于全球數十個倉庫和分銷中心。操作員能實時追蹤送貨信息,了解貨物位置和去向。
在銷售時,零售商使用數據決定存貨的展示位置,發現哪家門市銷售的某款產品多,并追蹤消費者的店內移動方式。優惠卡不是什么新事物,但是對消費習慣日益復雜的分析會讓商家多派發優惠卡,從而預測消費者的購買選擇。這項技術的進步讓亞馬遜相信,很快,在你買東西之前,精準預測就會使優惠卡派發到你的手中。
互聯性也在改變著商業形態。2014年,Cisco公司宣布,將為在融合虛擬和實體世界領域打拼的初創企業提供1.5億美元的資金。對一個企業來說,將生產、庫存控制、分銷和安全系統互聯互通,會極大地提升效率并減少浪費。GE 公司將數據和機器的融合稱為“產業互聯網”,并認為此舉將為全球產業避免1500億美元的浪費。
工業的各個領域都在學習利用大數據分析技術,顯然,發現收集、存儲和分析數據的新方法,將是可預見的未來中企業發展的重頭戲之一。
即使是人力資源管理這樣主觀和人性化的事物也在經歷大數據變革。發現和留住合適的人才是多數企業面臨的棘手問題。人才管理充滿挑戰,失敗的管理和領導層會帶來嚴重損失。據估計,管理層失敗的平均成本為270萬美元。 3公開數據顯示,糟糕領導的比例在33%到67% 之間。也就是說,目前,三分之一到三分之二的領導層人員都是不稱職的。
不僅是財務成本,失敗的高管任命也會帶來客觀的隱性成本,包括流失的機遇、不理想的公共關系、品牌損失、生產率低下,以及員工離職和疏遠。糟糕的領導對員工士氣的影響很嚴重:40%的美國雇員認為工作有壓力;75%的成年工作者表示,工作中的壓力來自直接上司。任何職位上的任何失誤都可能造成事故。而首席執行官或領導者的錯誤任命則可導致災難。
要知道,雇員是公司重要的資產,也可能成為的負債,這是有數據支撐的。難怪,企業會對諸如Evolv等大數據解決方案感興趣。
Evolv是一個軟件工具,將來自13個國家、18個行業的5億多個數據點融合在一起,囊括燃氣價格、失業率、社交媒體使用、居民旅行或工作時間、與經理的溝通頻率等各項內容,協助評估并了解員工和候選人。盡管數據收集方式包括富有爭議的智能門禁卡(可監控雇員動作和與他人互動的內容 ,但包括美國銀行在內的客戶對此很滿意。
據稱,僅通過允許更多的員工一起休息的方式,美國銀行就將績效標準提升了23%,將壓力水平(通過測量被試者聲音取得)降低了19%。
該軟件正在被用來進行多項預測, 包括雇員在一份工作上的停留時間。Evolv也得到了一些既神奇又意想不到的結論,例如,一些類型的工作中(比如呼叫中心),有犯罪記錄的雇員表現好于沒有犯罪記錄的雇員。還有,改變電腦上默認的瀏覽器設置,使用非標準瀏覽器(如Firefox或Chrome)的雇員表現好于使用電腦默認瀏覽器(如Internet Explorer或Safari)的雇員。(當然,現在大家也都知道,人們可以操縱預測因素,在采訪前,改變默認的瀏覽器設置,從而使預測無效。)
盡管此類大數據分析目前聚焦于客戶服務領域,但引起高管層的關注也只是時間問題。當然,提升高管績效對公司的益處巨大,因此,大數據解決方案當然值得考慮。根據研究機構經濟學人智能庫(Economist Intelligence Unit)的數據,2010年以來,逾半數的人力資源管理部門采用了數據分析技術。
“Bernard 在大數據領域見地超群,他這本書的出現也是非常及時的。就在我們對大肆鼓吹的保障感到失望時,他給我們帶來這本大數據專著,并闡明了且可信的方法(SMART 數據分析思維)來應對我們這代人面臨的機遇(或挑戰)。別再找借口了!”
——Richard Phillips ,Barclay 數據分析總監
“真是一次讓人深思和愉快的閱讀體驗!有效且簡約的 SMART 模型讓人人都能以多種方式運用大數據——提升盈利能力,留住客戶,贏得體育比賽等,不一而足!在如何更好地幫助公司利用內部數據方面,每章都能激發新想法,發現新機遇。”
——Marcus Barlow ,美國運通運營總監
“數據和分析推動我們工作的方方面面。本書是 2015 年數據領域的必看指南。真是一本好書!”
——Henrik von Scheel ,谷歌、EMEA 和和 Gazprom 等公司咨詢委員會成員
LEADing Practice 公司 CEO
“在將一系列復雜的話題整合成清晰的觀點以供從業者參考方面,Bernard Marr 是大師。在他的新作中,Bernard 將有關大數據的海量信息精煉成一本簡潔且實用的 SMART 方法論,有助于組織機構從一系列令人眩暈的數據、工具和技術中提取出真正的價值。”
——Wayne Eckerson ,Eckerson 集團首席顧問
“Bernard Marr 又來了——選擇一個復雜的主題,將其分解成簡潔的模塊,以供商業領袖們汲取利用大數據機遇方面的實用策略。”
——Dave Kellogg ,HostAnalytics 公司 CEO
“這是一本智者所著的智慧之書。Bernard Marr 拋開種種對大數據的溢美之詞,為尋求競爭力提升的經理人提供真實的案例研究和切實的行動要點。”
——Lars Rinnan ,Nextbridge 公司 CEO
“本書將助你揭開大數據的神秘面紗。人們談論大數據時拋出的時髦詞匯和專業術語造成的迷惑也將迎刃而解。本書列舉了大量組織機構利用多種形式的數據達成商業目標的范例,其提出的 SMART 方法也將助你避免一個常見而又代價不菲的錯誤,即收集了海量數據,卻不知如何利用。”
——Robert Stackowiak ,Oracle 公司數據架構和大數據部副總裁
“Bernard Marr 是個聰明人,他在本書中描繪了大數據的世界,提供了分析,講解了大數據將如何徹底改變商業世界,讓本書讀起來非常令人愉悅。”
——Kai Mertins 教授,Interop VLab 公司總裁
“大數據僅僅只是當下的一個熱詞,還是具備實際商業應用價值的新概念呢?Bernard Marr 沒有對大數據進行吹捧,而是為商業人士提供了一個智能解決方案,助他們理解自身定位、發展目標以及如何利用數據和工具實現目標。”
——Roberto Croci ,經理人,谷歌分析師(SEEMEA )
“我會向那些希望實施數據驅動戰略的人推薦本書。SMART 方法論是大數據分析戰略關鍵概念的簡明方法。”
——Benjamin Mercier ,Barclays 銀行副總裁,高級數據分析經理
“對尋求利用信息爆炸和信息分析提升生產力的經理人來說,Bernard Marr 的這本書提供了既淺顯又實用的操作指南。 Marr 令人信服地超越了人們對大數據的傳統理解(即大數據僅僅是商業操作催生的一個技術問題),將其解讀為一種根植于領導力和戰略領域的管理問題。他告訴讀者,如果不能理解數據或不能將這樣的理解與人分享,數據就是無意義的。”
——Robert M. Mauro ,博士,波士頓學院和全球領導力研究院院長、創始人
“當今世界,過去兩年產生的數據占了人類歷史數據總量的 90%,大數據和相關分析為消費者、企業和政府提供了大量機遇。Bernard 的這本書應該成為經理人的必讀書,因為它是一本理解第四類生產要素(即數據)真實價值的實用指南!本書為你撥開大數據的光環。運用 Bernard 提出的SMART 數據分析思維會讓你使用數據驅動的決策機制大幅提高績效。”
——Berry Diepeveen ,Ernst & Young 會計師事務所企業情報和分析部合伙人
“這是一本實用、深刻且誠懇的大數據之書,它展示了大數據對我們生活和業務影響的方方面面。Bernard 是一位化繁為簡的大師和意見領袖,他對大數據的呈現方式讓所有的人都能理解。”
——Nandhini Sampath ,Cisco 系統公司業務轉型和分析部高級經理
“Bernard 憑借多年的經驗,繪制了實用的路線圖,讓你快速理解大數據之旅帶來的收獲。”
——Kurt J. Bilafer ,ClearStory Data 公司副總裁
“在 Bernard Marr 的幫助下,你可以繞過與管理學熱詞(即大數據)相關的種種聒噪,他提醒我們‘海量數據并沒有價值,除非我們對其加以利用’,以及‘現狀是多數企業掌握大量數據,但是缺乏洞見’。本書的建議是聚焦 SMART 數據分析思維,而不是大數據本身。這么做后,你就能利用數據優勢,建立智能業務。”
——Paul Barnett ,戰略管理論壇創始人兼 CEO
“在這樣一個無組織而又充滿機遇的世界,我終于找到了一個連續性框架,從而讓大數據成為我們業務戰略執行的切實部分。這無關技術,而是在于如何轉變業務模式以應對新世紀的挑戰。”
——Pedro Pereira ,SAP 公司 SAP 大數據部負責人
“與其他大數據相關的書籍不同,本書的焦點在于大數據的商業價值。本書分步驟講解,利用多個實戰案例告訴我們如何將數據轉化成睿智的洞見,并以此改變我們處理商業、社會、政治和健康問題的方式。Bernard為那些想要理解數據和分析革命的人們寫成了一本必讀之書。”
——Lucile Hyon-Le Gourrierec ,IBM 法國分公司大數據及分析營銷部負責人
“遇到與 IT 相關的問題時,公共和私營部門的董事會成員和高管們選擇逃避,給股東和納稅人帶來損失。別再對大數據犯同樣的錯誤了!毫無疑問,受技術和商業模式創新驅動的大數據和數據分析技術會深刻地重塑和顛覆現有的產業、經濟和社會格局,影響空前。Bernard Marr 以發人深思和扣人心弦的方式,為我們深刻地闡釋了智能革命之核心——大數據的力量。大數據讓人不忍釋卷。”
——Marie Johnson
數據商業中心首席數字官、前微軟全球公共服務和數字政府部總監