數(shù)據(jù)分析行業(yè)就像所有新興行業(yè)初期一樣,伴隨著混亂和盲目,一方面市場上培訓(xùn)機(jī)構(gòu)巧立名目頒發(fā)證書,另一方面也有許多國外的著作被生搬硬套過來供自學(xué)者學(xué)習(xí)。本書是本結(jié)合國內(nèi)公司實(shí)際狀況和作者多年數(shù)據(jù)分析經(jīng)驗(yàn),系統(tǒng)而又詳盡地介紹數(shù)據(jù)分析工作的作品。相較于使用Excel進(jìn)行數(shù)據(jù)統(tǒng)計工作更加專業(yè)化、系統(tǒng)化,相較于數(shù)據(jù)挖掘與編程算法更加易于理解和貼合業(yè)務(wù)。從簡單的制作報表開始和大家一起學(xué)習(xí)數(shù)據(jù)分析的五大模塊:報表BI系統(tǒng)、異常數(shù)據(jù)分析、解決數(shù)據(jù)需求、項(xiàng)目性數(shù)據(jù)分析以及數(shù)據(jù)建模,為大家多方位、體系化地呈現(xiàn)數(shù)據(jù)分析到底是什么。
《從1開始——數(shù)據(jù)分析師成長之路》從簡單的制作報表開始和大家一起學(xué)習(xí)數(shù)據(jù)分析的五大模塊:報表BI系統(tǒng)、異常數(shù)據(jù)分析、解決數(shù)據(jù)需求、項(xiàng)目性數(shù)據(jù)分析以及數(shù)據(jù)建模,為大家多方位、體系化地呈現(xiàn)數(shù)據(jù)分析到底是什么。
張旭東,江蘇宿遷人,數(shù)據(jù)科學(xué)家。先后就讀于蘇州大學(xué)與中國人民大學(xué)數(shù)學(xué)專業(yè)。2010年至今總計發(fā)表各類文獻(xiàn)百萬余字,詣在推行數(shù)學(xué)語言簡易化、通俗化、平民化。
第1章 數(shù)字、數(shù)據(jù)、數(shù)學(xué) 1
1.1 數(shù)字的起源 2
1.2 數(shù)據(jù) 4
1.3 數(shù)字與數(shù)據(jù) 6
1.4 數(shù)學(xué) 8
1.5 統(tǒng)計學(xué) 13
第2章 分析、邏輯與思維 18
2.1 描述、概括、分析 19
2.2 邏輯思維 26
第3章 大數(shù)據(jù)到底是什么 32
3.1 時代的現(xiàn)狀 33
3.2 大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù) 35
3.3 大數(shù)據(jù)在說什么 40
第4章 數(shù)據(jù)分析與數(shù)據(jù)挖掘 43
4.1 分析與挖掘 44
4.2 選擇自己的路 46
第5章 如何做好數(shù)據(jù)分析 50
5.1 數(shù)據(jù)分析 51
5.2 制作報表 52
5.3 異常數(shù)據(jù)分析 62
5.4 MySQL查詢語言 72
5.5 數(shù)據(jù)需求處理 77
5.6 進(jìn)行項(xiàng)目分析 88
5.7 數(shù)據(jù)分析的結(jié)構(gòu)化梳理 99
第6章 數(shù)據(jù)分析師進(jìn)階 101
6.1 思維與態(tài)度 102
6.2 軟件升級:R or Python 107
6.3 數(shù)據(jù)分析師的格局 109
第7章 數(shù)據(jù)分析實(shí)戰(zhàn) 115
7.1 報表系統(tǒng) 116
7.2 發(fā)現(xiàn)異常 129
7.3 數(shù)據(jù)需求 135
7.4 項(xiàng)目分析 144
第8章 初識R語言 160
8.1 安裝與編輯器 161
8.2 數(shù)據(jù)讀取 163
8.3 數(shù)據(jù)處理 165
8.4 經(jīng)典算法 167
第9章 行業(yè)的未來 170
9.1 市場需求 171
9.2 重要性、必要性 176
9.3 大數(shù)據(jù),下一個風(fēng)口 183
第10章 數(shù)據(jù)分析測試題與答案 187
10.1 MySQL測試題 188
10.2 邏輯題 189
描述、概括、分析
大家 在日常生活中經(jīng)常會聽到這些詞匯:描述、概括、分析、知道、認(rèn)識、了解、熟悉、掌握等。這些似乎意思差不多的詞匯,粗略看起來并沒有什么區(qū)別,但是許多時 候是說者有心而聽者無意,數(shù)據(jù)分析尤其如此。我們需要描述一個事件還是分析一個事件?這兩者中間大有區(qū)別,為了便于大家理解先來講個故事吧。
慵懶的下午,你坐在咖啡館里看窗外人來人往,這時突然有一位美女闖入了你的眼簾,驚艷了時光,叨擾了歲月。在你的注視中美女就那么徐徐地走了,而你仍舊久久不能忘懷,難得這樣的心動時刻,你需要把它記錄下來:
2015年10月21日,星期三,天氣如同心情一樣好,邂逅一美女,撰文以記之。
她就那么突然地闖入我的視線,像一只驕傲的貓,帶著比肩的短發(fā),蠶眉冷艷,眼波流轉(zhuǎn);鼻梁不高但棱角分明,唇不紅艷自帶一份雅致;黑色的小皮鞋輕快地敲打著地磚,頎秀的兩條腿包裹在粉色的絲襪中傲嬌而不媚俗;白色毛衣披風(fēng)就那么搭在肩上欲滑將落……
她就那么徐徐地走著,帶著獨(dú)特地隱藏在優(yōu)雅中的俏皮,伴隨著一絲倔強(qiáng)和傲氣,輕快又不顯急躁地走著……
矯健的步伐配合著搖曳的臂擺透漏了內(nèi)心的快樂與活力,讓人不禁想象這個女孩不管在工作中還是生活中應(yīng)該都是樂觀的吧,平時應(yīng)該比較愛笑,周圍朋友也會很多,應(yīng)該會很好相處吧!我能不能成為她的朋友呢?
親愛的朋友,能不能從上面的一段矯情的日記里面說出哪里是“描述”哪里是“概括”哪里是“分析”呢?
描述
抽 象來說,描述就是對事物或是對象的直接描寫,就好像上文中這個姑娘眼睛、鼻子、嘴唇長什么樣,這是對這個對象的客觀印象,就好像畫畫時選擇的顏色,我選擇 紅色顏料來描繪他的嘴唇。 如果我們把描述這樣一個概念對應(yīng)到數(shù)據(jù)上可以理解為這一堆數(shù)據(jù)“長什么樣”,按照這樣一個標(biāo)準(zhǔn)我們嘗試著描述一堆數(shù)據(jù)。通過對數(shù)據(jù)的描述能夠讓別人通過這 些描述的話語感受到數(shù)據(jù)的真實(shí)面貌。
對于對人體外貌的描述再詳細(xì)生動都不如直接看到 被描述的這個人,或者給這個人拍一張照片也能直觀地反映其外貌。而對于數(shù)據(jù)來說,直接看數(shù)據(jù)可能什么都看不出來,而通過對數(shù)據(jù)的描述反而能讓我們更加清晰 地看到數(shù)據(jù)真實(shí)的面貌。在了解此間差異之前我們不妨先熟悉幾個描述性的統(tǒng)計變量:平均數(shù)、眾數(shù)、中位數(shù)、方差、極差、四分位點(diǎn),這些指標(biāo)就好像一堆數(shù)據(jù)的 “鼻子”、“眼睛”、“嘴唇”。平均數(shù)不用介紹大家都知道,下面介紹下其他幾個數(shù)據(jù)指標(biāo):
眾數(shù):數(shù)據(jù)中出現(xiàn)頻率較高的數(shù)值,比如“面條”就可以算做小明數(shù)據(jù)中的眾數(shù)。
中位數(shù):將數(shù)據(jù)從小到大排列,位置處于中間的數(shù)值。
方差:每個數(shù)據(jù)與平均值的差值的平方,再取平均值。
極差:較大數(shù)減去最小數(shù)。
上/下四分位點(diǎn):將數(shù)據(jù)從大到小排列,位置處于前1/4或是后1/4的數(shù)值。
例如
下面數(shù)據(jù)記錄了小明參加射箭俱樂部時擊中的環(huán)數(shù):
1 1 2 2 3 5 5 5 6 7 7
上述數(shù)據(jù)的各項(xiàng)指標(biāo)如下:
平均數(shù)=44/11=4
眾數(shù)=5(5出現(xiàn)3次)
中位數(shù)=5
方差=4
極差=7-1=6
上四分位點(diǎn)=6
下四分位點(diǎn)=2
我們一般會用上述的6個指標(biāo)來描述一組數(shù)據(jù)的“長相”,平均值用來展示整體的平均水平,眾數(shù)用來展示數(shù)據(jù)點(diǎn)主要集中的范圍,中位數(shù)用來與平均數(shù)進(jìn)行對比判斷數(shù)據(jù)是否平滑,方差用來判斷數(shù)據(jù)波動情況。
到 這里,我們發(fā)現(xiàn)通過對一組數(shù)據(jù)的平均數(shù)、眾數(shù)、中位數(shù)、方差、極差、四分位點(diǎn)進(jìn)行解讀,很容易對這一批數(shù)字有具體的認(rèn)識,而直接看數(shù)字可能就感受不到這些 信息。不僅如此,我們在數(shù)學(xué)統(tǒng)計的過程中常常面臨著成千上萬的數(shù)字,如果把這些數(shù)字全部羅列在屏幕上可能很難看出什么名堂來,而通過上述6個指標(biāo)能讓這些 龐大繁雜的數(shù)據(jù)一目了然,雖不見數(shù)據(jù)卻也知道數(shù)據(jù)長什么樣,這就是描述性統(tǒng)計變量。
通俗易懂,數(shù)據(jù)分析入門的不二之選。
——Wenny Zhong Soochow University Statistics Researcher
循序漸進(jìn)的引導(dǎo),帶領(lǐng)大家逐漸領(lǐng)略數(shù)據(jù)分析的魅力。
——張俊 中國平安 大數(shù)據(jù)研究員
數(shù)據(jù)分析道路上的指引明燈。
——張鵬飛 中國平安 高級數(shù)據(jù)分析師