企業大數據系統構建實戰：技術、架構、實施與應用
Preface 前 言為什么要寫這本書隨著2013年大數據元年的開啟，各行各業都已經將大數據視為推動企業發展、推進行業進步、加快產業升級、促進民生繁榮、鞏固社會安全甚至提升國家競爭力的核心武器。從個性化推薦、關...
本書分13章，分別從企業大數據戰略定位、企業大數據落地實施和價值評估，以及大數據的變革與挑戰這三大方面進行撰寫，宏觀上涵蓋了企業戰略決策和定位，微觀上涵蓋了大數據職能、思路、方法、流程、開發、應用、評估的整個環節。企業大數據的知識完整性也是本書的特色之一。
Contents?目 錄
前言
第1章企業大數據戰略定位 1
1.1宏觀 1
1.2微觀 4
1.2.1資源協同 5
1.2.2戰略定位 6
1.2.3啟動契機 7
1.2.4大數據歷程 9
1.3本章小結 12
第2章企業大數據職能規劃 13
2.1大數據組織架構體系 13
2.1.1大數據部門在企業中的角色 13
2.1.2常見的大數據職能及職責 17
2.2大數據職位構建體系 24
2.2.1基礎平臺類 24
2.2.2數據管理類 26
2.2.3技術研發類 27
2.2.4產品設計類 30
2.2.5數據挖掘類 32
2.2.6數據分析類 33
2.3大數據制度和流程規范 35
2.3.1制度和流程規范意義 35
2.3.2制度和流程規范內容 35
2.3.3制度和流程規范模板 42
2.4本章小結 44
第3章企業大數據解決方案 45
3.1企業大數據解決方案實現方式 45
3.1.1獨立研發 45
3.1.2第三方解決方案 46
3.1.3聯合開發 57
3.2如何選擇解決方案 58
3.2.1外部環境分析 58
3.2.2內部環境分析 59
3.2.3需求規劃分析 62
3.2.4解決方案特性分析 63
3.2.5解決方案費用評估 67
3.3本章小結 70
第4章企業大數據自主實施思路 71
4.1制定規劃原則 71
4.1.1價值性 71
4.1.2實時性 72
4.1.3高效性 72
4.1.4安全性 72
4.1.5延展性 73
4.1.6全局性 74
4.2制定目標藍圖 75
4.3制定建設目標 76
4.4明確組織規劃 78
4.4.1組織結構設計的作用 79
4.4.2組織結構設立的導向 79
4.4.3組織結構的最終設立 81
4.5設計技術方案 85
4.5.1大數據系統建設方案 85
4.5.2大數據系統與傳統BI的融合方案 91
4.6制定人才規劃 94
4.6.1指導思想 94
4.6.2規劃原則 94
4.6.3核心內容 95
4.7投入產出評估 97
4.7.1數據投入與產出的內涵 97
4.7.2數據投入與產出的特征 98
4.7.3數據投入與產出的管理 99
4.8數據風險管理 105
4.8.1數據風險管理的概念 105
4.8.2數據風險管理的類型 106
4.8.3數據風險管理的原則 109
4.8.4數據風險管理與控制 110
4.9本章小結 114
第5章大數據技術介紹 115
5.1核心技術 115
5.1.1Hadoop生態 115
5.1.2NoSQL 142
5.1.3實時計算 150
5.1.4全文檢索 160
5.2相關技術 204
5.2.1數據可視化 204
5.2.2數據緩存 220
5.2.3中間件 227
5.2.4關系型數據庫 236
5.2.5數據ETL 245
5.3大數據算法庫 250
5.4本章小結 276
第6章大數據架構設計 277
6.1大數據架構設計原則 277
6.2大數據核心架構要素 279
6.3大數據架構設計模式 284
6.4本章小結 289
第7章大數據技術開發 290
7.1數據采集 290
7.1.1批量采集 291
7.1.2增量采集 292
7.2數據存儲 293
7.2.1HDFS文件存儲引擎 294
7.2.2Hive數據存儲引擎 295
7.2.3HBase列式存儲引擎 295
7.2.4MySQL關系型數據存儲引擎 296
7.3多維計算 296
7.4功能服務 299
7.5平臺管理 301
7.5.1監控管理 301
7.5.2調度管理 302
7.5.3權限管理 304
7.6應用域 307
7.7本章小結 308
第8章大數據工作流 309
8.1數據源 310
8.1.1日志/文件 310
8.1.2數據庫 310
8.1.3網絡爬蟲 311
8.1.4第三方API/合作 311
8.2數據處理 312
8.2.1數據質量校驗 312
8.2.2清洗轉換 316
8.2.3質量提升 320
8.2.4數據脫敏 321
8.2.5集成整合 323
8.3數據存儲 324
8.3.1關系型數據庫 324
8.3.2分布式文件系統 325
8.4數據計算 325
8.4.1三種數據計算時效性 325
8.4.2結構化數據計算 327
8.4.3半/非結構化數據計算 333
8.4.4深度挖掘學習 360
8.5數據應用 376
8.5.1輔助決策 376
8.5.2數據驅動 377
8.6數據質量管理 379
8.6.1數據質量建設的內涵 379
8.6.2影響數據質量的常見因素 380
8.6.3數據質量建設的框架 381
8.7本章小結 392
第9章企業大數據業務應用 393
9.1大數據應用場景概述 393
9.1.1場景商業目的分析 394
9.1.2場景數據來源分析 394
9.1.3場景數據難易分析 397
9.1.4場景應用舉例 397
9.2用戶畫像 407
9.2.1業務應用背景 407
9.2.2主要實現過程 408
9.2.3關鍵應用場景 414
9.2.4應用價值提煉 415
9.2.5場景總結回顧 417
9.3個性化營銷 419
9.3.1業務應用背景 419
9.3.2主要實現過程 421
9.3.3關鍵應用場景 424
9.3.4應用價值提煉 425
9.3.5場景總結回顧 426
9.4精準廣告 427
9.4.1業務應用背景 427
9.4.2主要實現過程 429
9.4.3關鍵應用場景 438
9.4.4應用價值提煉 439
9.4.5場景總結回顧 440
9.5征信 441
9.5.1應用場景背景 441
9.5.2主要實現過程 442
9.5.3主要應用場景 447
9.5.4應用價值提煉 449
9.5.5場景總結回顧 449
9.6本章小結 450
第10章 企業大數據價值評估 451
10.1 資產價值 451
10.1.1 數據規模 451
10.1.2 數據價值度 452
10.1.3 數據鮮活性 454
10.1.4 數據關聯維度 454
10.1.5 數據粒度 455
10.2 業務價值 455
10.2.1 用戶體驗提升 455
10.2.2 運營優化 457
10.2.3 銷售貢獻 460
10.2.4 供應鏈優化 461
10.3 本章小結 462
第11章 大數據的社會價值 463
11.1 民生價值 463
11.2 政務價值 465
11.3 產業價值 468
11.4 本章小結 470
第12章 大數據當前問題及挑戰 471
12.1 數據挑戰 471
12.2 安全挑戰 472
12.3 價值挑戰 474
12.4 認知挑戰 475
12.5 技術挑戰 478
12.6 人才挑戰 480
12.7 本章小結 481
第13章 大數據未來趨勢 482
13.1 價值資產化 482
13.2 產業生態化 487
13.3 主體社會化 490
13.4 應用智能化 491
13.5 本章小結 492
