《大數據治理與服務》一書從大數據治理的基本概念和現狀出發，提出了大數據治理的框架及治理的關鍵要素，分析了大數據環境下企業面臨的挑戰、戰略轉型、組織職能分配，創新性地提出大數據架構，介紹了大數據環境下的數據質量、數據安全特點和應對方案，以及基于數據生命周期的風險、特點和管理方案，給出了大數據治理實施的方法論和基于服務的大數據治理價值展現。
《大數據治理與服務》一書立足于大數據環境下的數據治理，既有治理視角的戰略價值、風險合規，也有管理視角的數據資產、數據服務，模型與案例結合，條理清晰，易于使用。
大數據治理是一個嶄新的研究和應用領域，目前研究成果很少
立足于大數據環境下的數據治理，既有治理視角的戰略價值、風險合規，也有管理視角的數據資產、數據服務，模型與案例結合
張紹華，博士，上海計算機軟件技術開發中心常務副主任，ITSS(國家信息技術服務標準工作組)IT治理標準負責人。發表高水平相關學術論文30余篇，作為主編組織編寫了《中國IT服務創新藍皮書》、《信息技術支撐現代服務模式研究》等出版物。作為項目負責人或骨干參與了10多項國家863、國家自然基金、工信部、歐盟國際合作以及上海市重大科技項目。主持研發的“面向企業創新發展的軟件共性技術服務系統”獲得了上海市科技進步三等獎獎；主持研發的“Service Ace 平臺運營服務管理系統”獲中國軟博會軟件產品；獲2014年上海青年科技英才。 潘蓉 清華大學計算機學士，香港大學研究生，ISOSC40國際化標準組織注冊專家，中國首屆“十大IT女性”(2004年中國婦聯與工信部評選)、工信部ITSS WG1 國際組組長，國際數據治理標準ISO38505推動者與聯合編輯，國家數據治理標準編寫組長，曾任英國標準協會中國及香港區首席IT專家，受邀在云安全、業務連續性等國際論壇發表主題演講，在IDG等IT領域雜志報紙發表多篇文章。也是《中國數據治理白皮書》執行主編、ISO技術文檔《數據治理模型、框架和應用》撰寫人。
基礎篇 1
及時章 大數據治理概述 1
1.1 大數據治理的基本概念 1
1.1.1 背景知識 1
1.1.1.1 數據、信息與知識 1
1.1.1.2 大數據 3
1.1.1.3 治理與管理 9
1.1.1.4 數據管理與信息管理 10
1.1.2 數據治理 12
1.1.2.1 數據治理的基本概念 12
1.1.2.2 數據治理與數據管理 14
1.1.2.3 數據治理與IT治理 16
1.1.3 大數據治理 17
1.1.3.1 大數據治理的基本概念 17基礎篇 1
及時章 大數據治理概述 1
1.1 大數據治理的基本概念 1
1.1.1 背景知識 1
1.1.1.1 數據、信息與知識 1
1.1.1.2 大數據 3
1.1.1.3 治理與管理 9
1.1.1.4 數據管理與信息管理 10
1.1.2 數據治理 12
1.1.2.1 數據治理的基本概念 12
1.1.2.2 數據治理與數據管理 14
1.1.2.3 數據治理與IT治理 16
1.1.3 大數據治理 17
1.1.3.1 大數據治理的基本概念 17
1.1.3.2 大數據治理與數據治理 19
1.2 從數據治理到大數據治理 22
1.2.1 國際數據治理進展 22
1.2.1.1 數據治理理論 22
1.2.1.2 數據治理實施方法 28
1.2.1.3 數據治理應用 32
1.2.2 中國數據治理進展 33
1.2.2.1 數據治理實踐 33
1.2.2.2 數據治理理論 35
1.2.3 大數據治理——數據治理的新趨勢 36
1.3 大數據治理的重要作用 37
參考文獻 39
第二章 大數據治理框架 41
2.1 框架概述 41
2.2 大數據治理的原則 41
2.2.1 戰略一致 42
2.2.2 風險可控 42
2.2.3 運營合規 42
2.2.4 績效提升 43
2.3 大數據治理的范圍 43
2.3.1 大數據治理的活動與范圍 43
2.3.2 戰略 44
2.3.3 組織 45
2.3.4 大數據質量 45
2.3.5 大數據生命周期 46
2.3.6 大數據安全、隱私與合規 47
2.3.7 大數據架構 48
2.3.8 大數據服務創新 49
2.4 大數據治理的實施與評估 50
2.4.1 促成因素 50
2.4.1.1 環境與文化 50
2.4.1.2 技術與工具 51
2.4.1.3 流程與活動 51
2.4.2 實施過程 52
2.4.3 成熟度評估 53
2.4.3.1 評估模型 53
2.4.3.2 評估內容 54
2.4.3.3 評估方法 55
2.4.4 審計 56
參考文獻 56
關鍵域篇 57
第三章 大數據的戰略和組織 57
3.1 大數據戰略指明企業轉型的方向 57
3.2 企業制定大數據戰略的要點 59
3.2.1 融合業務需求 59
3.2.2 建立大數據價值實現的藍圖 60
3.2.3 融合企業組織和戰略 61
3.3 大數據戰略對組織的影響 62
3.3.1 組織架構設計要素 62
3.3.2 大數據戰略對組織架構設計的影響 64
3.4 典型大數據組織示例 66
參考文獻 70
第四章 大數據架構 71
4.1 大數據架構概述 71
4.1.1 架構與架構設計 71
4.1.2 數據和數據架構 72
4.1.3 從數據架構到大數據架構 72
4.2 大數據架構參考模型 73
4.2.1 總體架構 73
4.2.2 大數據基礎資源層 74
4.2.3 大數據管理與分析層 76
4.2.4 大數據應用與服務層 78
4.3 大數據架構的實現 79
4.3.1 不同視角下的架構分析 79
4.3.2 大數據技術架構 80
4.3.3 大數據應用架構 82
參考文獻 84
第五章 大數據安全、隱私和合規管理 85
5.1 大數據安全和隱私的問題與挑戰 85
5.1.1 大數據帶來的安全隱私問題 86
5.1.2 大數據安全和隱私的十大技術挑戰 89
5.1.3 十大技術挑戰的建模、分析和實施 91
5.2 大數據安全防護 95
5.2.1 大數據安全防護對策 96
5.2.2 大數據安全防護關鍵技術 97
5.2.3 大數據分析技術帶來安全智能 99
5.3 大數據隱私保護 106
5.3.1 大數據隱私特點分析 108
5.3.2 大數據隱私保護對策 110
5.3.3 大數據的隱私保護關鍵技術 111
5.4 大數據合規管理 114
5.4.1 美國數據合規管理狀況 115
5.4.2 歐盟數據合規管理狀況 115
5.4.3 我國數據合規管理現狀 116
參考文獻 117
第六章 大數據質量管理 118
6.1 大數據特性及其質量管理的復雜性 118
6.1.1 大數據的特性分析 118
6.1.2 大數據質量管理的復雜性 119
6.1.3 大數據質量管理復雜性的原因分析 120
6.2 大數據質量的概念和維度 120
6.2.1 大數據質量的基本概念 120
6.2.2 大數據質量的維度 120
6.3 大數據質量管理參考框架 122
6.3.1 參考框架概述 122
6.3.2 大數據質量策略 123
6.3.3 大數據質量控制目標 124
6.3.4 職責角色 125
6.3.5 流程和方法 126
6.3.6 支撐保障 127
6.4 大數據質量項目實施方法 127
6.4.1 定義階段 128
6.4.2 測量階段 132
6.4.3 分析階段 133
6.4.4 改進階段 135
6.4.5 控制階段 136
6.5 大數據質量管理常用方法和工具 137
6.5.1 常用質量管理工具 137
6.5.2 數據質量輔助工具 140
第七章 大數據生命周期 143
7.1 概述 143
7.2 大數據范圍確定 145
7.3 大數據采集 145
7.3.1 大數據采集的范圍 145
7.3.2 大數據采集的策略 146
7.3.3 大數據采集的規范 147
7.3.4 大數據采集的安全與隱私 147
7.3.5 數據采集的時效 148
7.3.6 非結構化數據的采集 149
7.3.7 大數據的清理 149
7.4 大數據存儲 150
7.4.1 數據的熱度(熱數據、溫數據與冷數據) 150
7.4.2 不同熱度數據的存儲與備份要求 150
7.4.3 基于云的大數據存儲 151
7.5 大數據整合 152
7.5.1 批量數據的整合 152
7.5.2 實時數據的整合 154
7.5.3 數據整合與主數據管理 155
7.6 大數據呈現與使用 155
7.6.1 數據可視化 155
7.6.2 數據可見性的權限管理 156
7.6.3 數據展示與的流程管理 156
7.6.4 數據的展示與 157
7.6.5 數據使用管理 157
7.7 大數據分析與應用 159
7.7.1 數據分析與應用的策略 159
7.7.2 數據分析與建模 160
7.7.3 數據應用 162
7.8 大數據歸檔與銷毀 162
7.8.1 數據歸檔 162
7.8.2 數據銷毀 163
實施和監督篇 164
第八章 大數據治理實施 164
8.1 大數據治理實施的目標和動力 164
8.1.1 大數據治理實施的目標 164
8.1.2 大數據治理實施的動力 167
8.2 大數據治理實施過程 168
8.3 大數據治理實施路線圖 172
8.4 大數據治理實施的關鍵要素 174
8.4.1 實施目標 174
8.4.2 企業文化 175
8.4.3 組織架構和崗位職責 176
8.4.4 標準和規范 176
8.4.5 合規管理和控制 177
8.5 大數據治理實施框架 178
參考文獻 180
第九章 大數據治理審計 181
9.1 大數據治理審計概述 181
9.1.1 大數據治理審計面臨的機遇與挑戰 181
9.1.2 大數據治理審計的基本概念 182
9.1.3 大數據治理審計的重要意義 185
9.1.4 大數據治理審計的前提與基礎 186
9.2 大數據治理審計內容 186
9.2.1 戰略一致審計 187
9.2.2 風險可控審計 187
9.2.3 運營合規審計 187
9.2.4 績效提升審計 188
9.2.5 大數據組織審計 188
9.2.6 大數據架構審計 188
9.2.7 大數據安全與隱私管理審計 189
9.2.8 大數據質量管理審計 189
9.2.9 大數據生命周期管理審計 189
9.3 大數據治理審計方法和技術 190
9.3.1 大數據治理審計相關標準 190
9.3.1.1 大數據相關標準 190
9.3.1.2 IT審計相關標準 191
9.3.2 大數據治理審計方法 195
9.3.2.1 傳統審計方法 195
9.3.2.2 IT審計方法 196
9.3.2.3 大數據審計方法 197
9.3.3 大數據治理審計技術 198
9.3.4 大數據治理審計工作基礎 200
9.4 大數據治理審計流程 200
9.4.1 大數據治理審計準備階段 201
9.4.2 大數據治理審計實施階段 201
9.4.3 大數據治理審計終結階段 203
9.4.4 大數據治理審計后續跟蹤 204
服務與創新篇 205
第十章 大數據服務 205
10.1 大數據的服務創新 205
10.1.1 大數據的服務創新途徑 205
10.1.2 大數據服務的商業價值 207
10.2 大數據的服務內容 209
10.2.1 面向業務的大數據服務 211
10.2.1.1戰略決策 211
10.2.1.2精細化管理 213
10.2.1.3精準營銷 215
10.2.1.4信息服務 217
10.2.1.5產品創新 219
10.2.2 面向技術的大數據服務 220
10.2.2.1大數據存儲服務 221
10.2.2.2大數據計算服務 221
10.2.2.3大數據集成服務 222
10.2.2.4大數據挖掘服務 226
10.2.2.5大數據可視化服務 226
推薦這本書給大家我覺得是自己作為大數據行業一份子的責任。現在很多人都在談大數據，其中有傳統行業，有銀行，也有醫院。但我注意到大部分企業都在關注如何用數據進行創新，卻很少聽到大數據作為原材料應該怎么管理。你可能會說，銀行業、通訊業等不是早就在做數據管理了嗎？的確，數據管理并不新鮮，20年前就有人在做了。但大數據的含義不僅指數據的大小，還包括數據內容的廣泛來源、非結構性及實時連接性等等。大數據的定義其實在不斷更新中。我們不禁會問，以往的數據管理思路，能適應新形勢的需求嗎？我敢大膽的說自上而下的管理方法已經過時了。大數據的本質就是來自開放的力量、頻繁的數據更新、更豐富的數據種類、更快速的數據流動，但這些都對中央式的管理方式造成了極大的挑戰。我們必須意識到，數據治理不等同于數據管理，絕非僅依靠自上而下的貫徹執行便可解決。相反，數據治理需要每個人的參與和協同，要求大家都有意識去治理好數據，做到人人為我，我為人人。今天不把數據管好，日后對數據的依賴愈深，便愈容易出現問題。數據治理的新思路，不僅是指組織結構上要從由上而下變成全體協同，而且要在技術上創新，用數據去助力大數據治理，幫助大家提高數據質量、保護數據安全及有效控制數據成本。我想說，大數據時代的數據治理，一定是將無線的管理策略化成有形的工作流程，從一紙命令變成根植在每個人心中的信念和下意識的習慣。我們要用大數據的思維方式，用數據治理數據。感謝作者對數據治理的堅持，這本書得來不易。
——集團副總裁 數據委員會會長 車品覺
數據正在成為最基礎的戰略資源和重要資產被世界各國和經濟體所重視。對數據的獲取、占有、控制、分配和使用能力成為未來一個國家和地區經濟發展水平和社會階段的重要標志。了解大數據、管理大數據、駕馭大數據，從《大數據治理與服務》開始吧。
——國務院發展研究中心國際技術經濟研究所，副所長，陳寶國博士
不管人們承認與否，我們已經步入大數據時代。鋪天蓋地的數據迎面而來，讓我們眼花繚亂、一時手足無措。這是一個“知識超前、智慧滯后”的年代，我們應該正確認識并積極應對，早些補上滯后的智慧。歷史的經驗告訴我們，面對新時代的到來，約定便于溝通的新語系，形成確保質量的新標準，十分必要。學習了解數據治理的思想方法，能幫助我們在新時代少走曲折路，少花冤枉錢。《大數據治理和服務》一書為我們開啟了數據治理的大門，介紹了數據治理的若干話題，是很好的入門讀物。
——清華大學數據科學研究院執行副院長 韓亦舜
大數據應用進入了廣泛而快速的發展階段，對經濟運行、社會發展和城市治理產生著深刻的影響。這種基于近乎全樣本并實時獲取的海量數據，正在不斷積累并形成了有著巨大價值的社會資產。如何發揮好這份新興資產的作用，需要從應用層面加快研究形成大數據治理的標準規范和服務指引，以促進大數據的健康發展。
——北京市經濟信息中心副主任 林明金
大數據是云計算支撐下最有價值的資產，從數據資產，數據管理，數據治理的基本概念到做好數據治理的關鍵要素是什么，這本書也適合大學生學業補充，從基礎概念到項目實施，從治理到管理，到大數據的架構，大數據的服務和應用，尤其是數據質量一章，突出了大數據質量的特色，也給出了管理工具，有實踐意義。
——清華大學計算機系副系主任 馮建華
一個創意是否有價值，一個產品功能用戶是否喜歡要事實說話。數據就是事實。互聯網和計算機技術的發展讓快速搜集和處理海量的數據成為現實。大數據讓決策科學，有效，和及時。在移動互聯網時代，沒有大數據，就好像盲人摸象。《大數據治理和服務》對大數據戰略，組織管理，技術和規范有很好的介紹。對一個組織如何變身成“數據驅動”很有幫助。
——微軟(亞洲)互聯網工程院副院長 方黎江
百年公司治理，互聯網時代遭遇新挑戰，感謝《大數據治理與服務》新思維新利器
——王中杰 連城國際董事長 中國公司治理知名專家，產學研及時人
大數據不僅成為云計算之后的技術和產業熱點，而且對人們的工作生活方式、學習思考模式、科學研究范式產生越來越重大的改變和影響；同時伴隨而來的數據安全和隱私保護等問題層出不窮，這些問題與其帶來的巨大價值同樣引人關注。從治理的視角不僅能夠更好地發揮大數據的價值，也能夠構建大數據的安全防護體系。《大數據治理和服務》在這方面做了深入的闡述，從框架、范圍、架構、技術、合規、質量、生命周期等多個角度進行了說明分析，能為組織機構的大數據應用和安全防護提供很好的參考和指南。
——金波 公安部第三研究所所長助理 首席科學家，信息網絡安全公安部重點實驗室主任，中國計算機學會大數據專家委員會常務委員
大數據時代來臨，數據已成為企業重要資產，如何管好、用好大數據，使其發揮zui大價值，《大數據治理與服務》系統地回答了這個問題，無論對理論研究，還是實踐操作，此書都值得一讀。
——國家開發銀行信息科技局局長譚波
近年來，隨著信息化的不斷推進以及云計算、數據挖掘技術和物聯網的廣泛應用，促使互聯網 技術興起，所有這些技術都是以多樣化的巨量數據為基礎實現的。數據不僅僅在我們的地球海量的匯集，更延伸到太空宇宙，在這樣的背景下如何看待大數據和應用大數據是我們面臨的重要課題。本書從大家數據的概念到數據的匯集、架構及如何應用，再從數據治理到數據安全，以及數據的生命周期內如何管理和利用等方面進行了較為深入的分析，并提出了自己的觀點和見解。本書可讀性及實用性強，從中可以看到作者試圖利用自己的經驗和對大數據探索的思路引導大家共同研究。在此誠心的祝愿本書發行成功。
——中國人民銀行金融信息中心副總經理康少康
大數據蘊含豐富的價值，已經成為社會治理和經濟發展的重要戰略資源。大數據治理和服務的研究有利于推動大數據在各行各業的發展和應用。加強大數據治理，創新大數據服務將促進大數據更安全更有效地發揮價值。
——陳忠德 中國華融資產管理股份有限公司信息科技部總經理
不言而喻，我們正生活在信息時代，各種信息充斥在我們的周圍，人們已不再缺乏廣泛的信息，而越來越需要有價值的信息。大數據技術的應運而生，為我們獲取有效的信息開啟了新的航帆。該書圍繞上述理念，闡述了利用大數據技術獲取有效信息的理論與實踐。完整提出了大數據治理的概念、框架、機制以及大數據服務所涉及的各個環節，既有廣度，又有深度。同時，該書的亮點還在于從管理學和數據治理的角度給予大數據技術以完整的論述和詮釋，這與市場上單純描述大數據技術的書有本質上的區別，對于企業和機構，特別是大企業的信息管理和大數據運用有著重要的指導意義。
——中國銀行首席信息經理劉寧
《大數據治理與服務》一書通過梳理大數據應用的相關概念，由淺入深地為讀者拉開了大數據治理的神秘面紗，提供了開展大數據應用的方法。該書系統地描述了大數據治理應堅持的原則和框架體系建設等內容，對讀者開展大數據應用前期規劃與頂層設計，以及規范應用大數據、創造價值具有很好的學習參考作用。
——中國電子工程設計院副總工程師 謝衛
信息科技從IT向DT發展過程中，數據已經成為基礎性戰略性資源和新一輪科技產業革命的重要生產力，而如何對數據進行有效的管理和應用將從《大數據治理和服務》中獲得啟發、形成思路、得到答案，本書由淺入深的從數據實際應用出發，圍繞數據的組織、管理、安全、質量、審計以及服務等領域進行了系統性闡述，對大數據從業人員具備重要的指導作用！
——中國電信上海理想信息集團總經理 陸晉軍
本書是一套集Zui佳實踐的系統化大數據治理工具，不但從治理層，也從管理層，技術層面給予了相應指導，提供了數據治理和項目型單一目標數據治理的方法論。要成為大數據的品質保管倉庫和處理中心，數據中心面臨諸多挑戰，比如根據數據的不同熱度采取不同的存儲技術，提高業務訪問處理效率；比如如何在大數據環境下保護客戶的個人隱私等等；同時，將大數據運用于數據中心管理，也為管好數據中心，提供了前所未有的機遇。
——招商銀行股份有限公司數據中心總經理 高旭磊
P2P 依靠傳統線下信貸方式經營成本高，難以規模化，依靠線上行為痕跡，征信大數據可以大大提高風險管理的有效性，而如何建立一套反欺詐體系，風控指標，這些風險數據的采集、監控標準化都離不開風險導向的數據治理體系的建設。
——東方邦信金融科技有限公司董事長孫洋
