堪稱IT相關行業的“動向”和“密碼”的“大數據”究竟是什么?為什么如此受眾人關注?未來大數據將改變什么?本書以圖解的方式為大家詳細解讀眾人關注的焦點——大數據。
大數據不僅僅是IT行業的熱門話題,也是各行各業關注的焦點。因為它不僅改變了社會,也改變了我們的生活和工作方式。大數據還可應用于各個領域,比如氣象預測、預防犯罪、醫療領域等,其功能無比強大。讀完本書,你將讀懂什么是大數據!
有趣的圖片,通俗的解讀
一看就懂,一學就會
人人都能看懂的大數據書
大數據已經成為當前為流行的熱點概念之一,我們的一切行為都在產生數據。網上搜索、微博微信上的狀態和留言、氣象信息、汽車位置信息、監控攝像……幾乎都會增加數十億字節之多的數據,而且這個增量還在擴大。
通過大數據:迫切希望企業更快成長的企業主,能夠獲得更大的成功,建立更好的客戶關系;
所有市場銷人員,能夠讓廣告費用得到回報;
為終端客戶服務的機構與IT產品開發商,可以提升服務,創新產品;
圖解大數據 金字塔財經叢書之故事解讀系列
故事解讀金融學 故事解讀財務報表 故事解讀異想經濟學 故事解讀德魯克經營之道
大河原克行
1965年出生于東京都。曾擔任IT業界專刊《周刊BCN》總編輯,2010年10月獨立,成為自由編輯。20多年來,一直以IT產業為中心進行采訪、寫作活動,內容涉獵廣泛。現在積極活躍于商業雜志、電腦雜志和網絡媒體。
及時章.大數據變革商務!
1 現在是“海量信息”創造財富的時代
2 大數據的真面目!
3 為什么說現在是大數據時代?
4 大數據的價值
第二章.大數據的誕生
1 數據大爆炸的時代到來了
2 移動設備的普及推動大數據發展
3 匯聚了全世界推文的社交媒體
4 云計算——存在于網絡中的無限資源
5 傳感器持續收集海量的日志
6 Hadoop技術使海量數據的解析成為可能
第三章.大數據的使用
1 根據目標人群進行推薦
2 用傳感器數據預測天氣情況
3 掌握路況,緩解交通擁堵
4 信用卡公司能夠防止不正當使用行為帶來的損失
5 用推特上的推文預測股價
6 大數據在農業領域的應用
7 大數據在醫療領域的應用
第四章.在大數據世界占據主導地位的企業
1 大數據產業地圖
2 將海量的檢索歷史數據轉變為機遇——谷歌
3 基于以往的購買數據,開展驚人的推薦服務——亞馬遜
4 10億人之間的聯系成為制勝的王牌——臉譜
5 以數據庫分析為武器展開攻勢——甲骨文
6 期待以活用大數據起死回生的企業——IBM
7 存儲器公司也開始實行大數據戰略——EMC
8 日本企業也毫不遜色!——NEC、日立、富士通
9 大數據的參與者并不只有IT企業!
第五章.大數據的未來
1 大數據變革市場營銷
2 大數據變革企業經營
3 大數據變革IT產業
4 大數據變革生活
5 大數據變革社會
6 大數據本身也將發生改變!
結語
海量數據處理技術的發展
大數據時代的來臨并不僅僅意味著數據量的增加,更重要的是,它表明處理數據的技術已經上升到了一個新的高度。
正如英特爾公司創始人戈登 摩爾的“摩爾定律”所描述的那樣,“集成電路上能容納的晶體管數量每18個月翻一番”。直到現在,這種情況也一直在持續著。
晶體管的數目極大地影響著CPU的處理性能。2010年晶體管的數目是2003年的32倍,而近10年來,CPU的處理性能已提升至以前的100倍。
有所進步的并不只有CPU。隨著網絡無線化的發展,傳送數據的網絡環境也在迅速變化。如今,數據傳輸速度已提升至10年前的1600倍。
在數據存儲器的容量不斷增加、價格不斷降低的同時,運用了閃存技術的SSD(Solid State Drive,固態硬盤)逐漸進入了大眾的視野,能夠高速處理海量數據的環境也因此而明朗起來。
移動信息終端、傳感器和云計算推動大數據發展!
還有一點讓我們更加難以忽視,那就是發送數據的移動終端設備和收集數據的傳感器的更新換代。
SSD(Solid State Drive,固態硬盤)作為一種存儲器,SSD是一種運用了閃存技術的驅動裝置。比起旋轉軸式硬盤驅動器,SSD不管是在讀寫速度、耗電量,還是在抗撞擊性上都更勝一籌。
iPhone、iPad、安卓終端等移動終端設備的普及對社交媒體的發展起著重要的作用,這一點是不言而喻的。
智能電表擁有數據傳輸功能,是使用數碼測電方式的第二代電表。人們正期待智能電表利用自身的數據傳輸功能,在智能電網的自動查表等活動中大放異彩。
另外,由于傳感器體積的不斷縮小,人們開始將其應用于所有領域,甚至包括被大眾普遍看好的智能家電。隨著智能城市的不斷發展,智能電表逐漸開始深入千家萬戶。假設有25萬戶家庭安裝了智能電表,電表每隔15分鐘發送1次信息,那么每年就要進行3500億次信息處理。如果所有家庭都安裝了這種電表,可想而知它的數據量會有多么龐大。
再者,云(Cloud)的普及成為大數據發展的“東風”。
依靠云計算,企業可以在開展新服務的初期構建短期系統,也就再也不用擔心服務器或存儲器的空間不夠了。云計算還可能將初期投資降到低,而且,即使是在信息收集的高峰期,云計算也可以輕松應對,不使收容能力飽和。正因如此,曾經一度有人認為它是為了應對社交媒體而生的。顯然,如今的云計算已經成為我們生活中不可或缺的一部分。
在數據量不斷增加的大背景下,正是因為收集、分析和預測數據的技術、產品和服務的出現,大數據時代才算是真正到來了。而這些技術的進步也為大數據時代的來臨提供了有力的技術支持。
大數據創造“32萬億元規模的市場”
市場調研公司IDC日本將以大數據為中心的平臺定義為“第三IT平臺”。
及時IT平臺的構成主體是“大型機”,第二IT平臺的構成主體是“個人計算機(PC)”和“互聯網”。而第三IT平臺則是由“云服務”“移動性”“社交性”和“大數據”四部分構成。
IDC日本的分析師和田英穗預測:“到2020年為止,第二IT平臺的年平均增長率(CAGR)為2.5%,基本保持平穩態勢。而第三IT平臺將持續保持高增長,其年平均增長率將達到15%。”
截至2020年,由于第三IT平臺對市場的引導作用,預計世界IT市場的規模將達到5兆美元(約合人民幣32萬億元)。
大型機是企業基礎業務系統使用的傳統大規模計算機系統,也被稱為“大型主機”。使用者一般通過終端機連接中央計算機。
實際上,傳感器無處不在
簡而言之,大數據的價值在于“使以前無法了解的東西變得明朗了”。而造成這種變化的原因之一是,我們收集到了那些以前無法獲得的數據。收集社交媒體上的狀態和留言就是一個典型的例子。當然這也要歸功于傳感器技術的發展,正是它使這些信息的獲得成為可能。
環顧自己的周圍,如果你認為安裝了傳感器的只有搭載了GPS和陀螺儀傳感器的智能手機的話,那你就大錯特錯了。
GPS/陀螺儀傳感器GPS(全稱Global Positioning System,也稱“全球定位系統”)是一種利用衛星確定所在位置的系統。陀螺儀傳感器是一種測量物體角度和角速度的儀器。
冰箱上安裝了感知冰箱門開關的傳感器,空調中搭載著控制溫度的傳感器,就連通過自動感應人的存在來控制照明開關的裝置上,也安裝了傳感器。而遍布大街小巷的監控攝像頭也發揮著與傳感器相同的作用。
這其中,有很多數據并沒有被儲存起來。但是,如果我們進入了智能家電、智能城市的時代,這些信息就會被儲存和發送,最終作為大數據被人們有效利用。
智能城市是一種將智能電網、能源、水、通信、交通、建筑、行政服務等所有城市基礎設施垂直整合,最終實現高效城市的城市構想。
冰箱中也有大數據
這樣一來,我們就能收集到以前無法獲得的數據、看見以前看不見的事物了。
開關冰箱門的次數、冰箱內溫度的變化以及開關冰箱門的時間……如果能夠將這些數據儲存起來,我們就能控制冰箱的運轉。
如果早上開關冰箱門的次數較多,就要確保該時間段內冰箱內的溫度不變;如果是在開關門次數較少的深夜,就要切換到省電模式……冰箱要將這些規律摸清,按照最適合每個家庭的運轉規律運轉。
單就開關冰箱門的數據來看,有些人可能認為這不算大數據。然而,大數據的本質并不在于數據的大小、多少,而是在于IT系統的結構是否發生轉變。也就是說,大數據的核心在于,收集到以往無法收集到的數據、看見以往看不見的事物。
因此,我們可以將冰箱門的例子理解為人們活用大數據,并將其具體應用于冰箱這個領域的典型范例。
海量的“顯性知識”使“隱性知識”可見化
NEC公司(日本電氣股份有限公司)社長遠藤信博認為:“大數據的有趣之處在于,在大量收集顯性知識的過程中,那些隱藏在表面之下的隱性知識就會漸漸浮現在我們眼前,從而帶來不同的價值。”
從上文冰箱的例子中我們也可以看出,大數據的特點在于:大量聚集那些可以直接得到的信息(顯性知識),進而導出隱藏在表面之下的隱性知識。
冰箱門開關的時間數據,就是“可知的信息(顯性知識)”。
但是,如果將這樣的數據大量收集起來,根據“在經常開關冰箱門的時間段中,有部分地區的冰箱門開關次數有所減少”這一現象,我們就可以大膽推斷該地區可能舉辦了諸如“夏日祭”這樣的大型活動,大多數人都外出了。
這樣一來,“顯性知識”就變成了看不見的“隱性知識”。
通過對多種數據的整合,得出正確預測
迄今為止,大部分信息系統都是獨立進行數據管理的。但是大數據的特別之處在于,不論是結構化數據還是以各種形式呈現的非結構化數據,都可以在相互協作的狀態下對其進行數據分析。
據說,某服務提供商正在收集約10萬個商鋪的銷售數據,而該數據的數據量24小時就能達到數TB。
如果將這些銷售數據與該區域的煙火大會、運動會等活動數據以及氣溫變化、氣象數據等其他數據相結合,我們就可以預測今后一個星期內,哪些店鋪中的哪些東西可以暢銷。
如果是煙火大會,那么啤酒、便當等商品就很容易熱銷。在該數據的基礎上, 可以采取增加采購量、在零售店間進行商品調動等措施;還可以根據不同情況,在人流較為集中的店鋪策劃清倉促銷活動。
大數據時代已經到來,我們生活在其中,就不得不與大數據打交道。但到底大數據和以前的數據分析有何不同?對社會有什么作用呢?《圖解大數據》這本書就以圖解的方式揭示了大數據的發展規律和未來前景,相信不同層次的讀者都會受益匪淺。
——財經專欄作家 八子洋一
《圖解大數據》引用了大量的實例和社會現象加以說明,非常精彩易讀!
——朝日新聞社
《圖解大數據》一書對IT行業人員的思維方式和未來行動目標作了簡單的介紹,圖文并茂,非IT人士也可以很輕松地閱讀。非常好的大數據入門書籍,讀起來很有說服力。重要的是思維方式而不是工具和技術。
——著名IT雜志主編 成田則孝