日本免费精品视频,男人的天堂在线免费视频,成人久久久精品乱码一区二区三区,高清成人爽a毛片免费网站

5.2 大、小數(shù)據(jù)的“質(zhì)”不同

大數(shù)據(jù)的實(shí)質(zhì)是什么？在第四章中，我們已經(jīng)討論過這個(gè)議題。雖然當(dāng)前學(xué)術(shù)界和實(shí)業(yè)界對(duì)此都還沒有一個(gè)統(tǒng)一的定義或認(rèn)知，但從狹義的字面來理解的話，它應(yīng)該與小數(shù)據(jù)相對(duì)應(yīng)，大數(shù)據(jù)是指數(shù)據(jù)量特別巨大，超出了常規(guī)的處理能力，需要引入新的科學(xué)工具和技術(shù)手段，方能夠進(jìn)行處理的數(shù)據(jù)集合。

于此對(duì)應(yīng)的，所謂的小數(shù)據(jù)指的是，數(shù)據(jù)規(guī)模比較小，用傳統(tǒng)的工具和方法就足以完成處理的數(shù)據(jù)集合。下面我們用一段天文學(xué)家第谷 布拉赫和約翰尼斯 開普勒的故事來舉例說明小數(shù)據(jù)的應(yīng)用。

在16 世紀(jì)，有位杰出的占星學(xué)家、天文學(xué)學(xué)家，名叫第谷 布拉赫(TychoBrahe，1546—1601)。第谷出生于丹麥的一個(gè)貴族家庭。早在1572 年，第谷憑借自己出色的觀察能力，發(fā)現(xiàn)仙后座中的一顆新星，后來受惜才的普魯士國(guó)王腓特烈二世(Friedrich Ⅱ)b 的邀請(qǐng)，他在汶島建造天堡觀象臺(tái)，經(jīng)過20 年的觀測(cè)，發(fā)現(xiàn)了許多新的天文現(xiàn)象。第谷是天文史上的一位奇人。他對(duì)于星象所做的觀測(cè)精度之高，是他同時(shí)代的人望塵莫及的，他編纂的星表的數(shù)據(jù)甚至接近了肉眼分辨率的極限。

1597 年， 有位才華橫溢的年輕人約翰尼斯 開普勒(Johannes Kepler，1571—1630)漸露頭角，年僅26 歲的他出版了自己對(duì)宇宙模型猜想的著作——《神秘的宇宙》(Mysterium Cosmographicum)。在這本書中，開普勒設(shè)計(jì)了一個(gè)非常有趣的、由許多有規(guī)則的幾何形體構(gòu)成的宇宙模型。

1599 年，第谷看到這本書，十分欣賞開普勒的智慧和才能，立即誠邀他做自己的助手。開普勒來到第谷身邊以后，師徒二人“珠聯(lián)璧合”，朝夕相處，對(duì)天文學(xué)領(lǐng)域共同的狂熱，讓他們結(jié)成忘年交。

但是，好景不長(zhǎng)，開普勒受多疑的妻子的挑唆，突然和第谷決裂，不辭而別。開普勒的離去，使愛才如命的第谷非常傷心。他意識(shí)到這是一種誤會(huì)，立即寫信給開普勒解釋，并胸懷寬廣地請(qǐng)他回來繼續(xù)合作。開普勒讀了第谷的誠摯來信，感到十分愧疚。當(dāng)兩人重修舊時(shí)，第谷不記舊怨，不但把才華出眾的開普勒推薦給國(guó)王腓特烈二世，還把自己20 多年辛勤工作積累下來的觀測(cè)資料和手稿，全部交給開普勒使用。他對(duì)開普勒說：“除了火星所給予你的麻煩之外，其他一切麻煩都沒有了?，F(xiàn)在我把火星的研究也要交托于你，它夠你一個(gè)人麻煩的了。”

開普勒在接手第谷觀測(cè)的數(shù)據(jù)后，這批花費(fèi)第谷20 多年時(shí)間得到的數(shù)據(jù)，很快就在開普勒手中“妙筆生花”，開普勒經(jīng)過手工計(jì)算，從中發(fā)現(xiàn)了著名的“行星運(yùn)動(dòng)三大定律”，即軌道定律、面積定律和周期定律。這三大定律最終使開普勒贏得了“天空立法者”的美名。開普勒的成就，來自堅(jiān)實(shí)的數(shù)據(jù)支撐。他憑借手工，就能處理完第谷20 多年收集而來的數(shù)據(jù)。這一案例反映的是他處在一個(gè)“小數(shù)據(jù)時(shí)代”。

隨后，與開普勒同時(shí)代的牛頓，通過論證開普勒行星運(yùn)動(dòng)定律與他的引力理論間的一致性，證明了地面物體與天體的運(yùn)動(dòng)都遵循著相同的自然定律，從而發(fā)現(xiàn)了萬有引力和三大運(yùn)動(dòng)定律，現(xiàn)在看來，這也是基于小數(shù)據(jù)的。這些經(jīng)典理論的提出，奠定了此后三個(gè)世紀(jì)里物理學(xué)領(lǐng)域的科學(xué)觀點(diǎn)，并成為了現(xiàn)代工程學(xué)的基礎(chǔ)。再后來，隨著科學(xué)的發(fā)展，數(shù)據(jù)量有了較大的增加，為了處理那些在當(dāng)時(shí)看來的“大數(shù)據(jù)”，統(tǒng)計(jì)學(xué)家發(fā)明了抽樣方法，其基本要求是，在確保所抽取樣品具備“隨機(jī)性”的基礎(chǔ)上，來保障樣本可以對(duì)全體具有充分的代表性，從而推斷全體樣品的特性，由此解決了“大”數(shù)據(jù)處理的難題。

而當(dāng)前的大數(shù)據(jù)，不僅是所謂數(shù)據(jù)海量，而且各種數(shù)據(jù)的差別非常大，用抽樣方法難以保障它的有效性。傳統(tǒng)的統(tǒng)計(jì)方法，之所以不能適用于現(xiàn)在的大數(shù)據(jù)，大致源于如下三點(diǎn)原因。

(1)在第四章中，我們討論了大數(shù)據(jù)的“4V”特征，其中最能反映大數(shù)據(jù)和小數(shù)據(jù)不同之處，就是它的“多樣性”(Variety)：由多種數(shù)據(jù)來源組成的一個(gè)的數(shù)據(jù)。在多種數(shù)據(jù)源的應(yīng)用環(huán)境中，抽樣很難保障它的“無偏性”(unbiasedness)。

(2)統(tǒng)計(jì)學(xué)家們?cè)O(shè)計(jì)的統(tǒng)計(jì)模型，其結(jié)論的性，強(qiáng)烈依賴于與結(jié)論有關(guān)的應(yīng)用類型。目前大數(shù)據(jù)的主力軍——網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)長(zhǎng)尾分布(長(zhǎng)尾理論將在后面的小節(jié)介紹)，使得傳統(tǒng)的標(biāo)準(zhǔn)方差等衡量標(biāo)準(zhǔn)失效，“長(zhǎng)相依”和“不平穩(wěn)”常常超過了經(jīng)典時(shí)間序列的基本假設(shè)。

(3)傳統(tǒng)的機(jī)器學(xué)習(xí)方法，通過先在較小的數(shù)據(jù)集樣本中學(xué)習(xí)，然后調(diào)整參數(shù)，驗(yàn)證分類、判定等“假設(shè)”和“模型”的適用性，再推而廣之到更大的數(shù)據(jù)集上。通常來說，一般的NlogN、N2 N2 等級(jí)別的算法復(fù)雜度，是可以容忍的，然而面對(duì)PB 級(jí)別(1PB=1 024TB=1 024×1 024GB=1 125 899 906 842 624 Bytes)的大數(shù)據(jù)處理，這種算法復(fù)雜度已經(jīng)難以忍受，因此需要設(shè)計(jì)新的數(shù)據(jù)處理算法來適應(yīng)這一新情況。江西財(cái)經(jīng)大學(xué)科技哲學(xué)教授黃欣榮，對(duì)小數(shù)據(jù)和大數(shù)據(jù)“質(zhì)”的區(qū)別也做了比較到位的描述。

(1)從采集手段上來說，小數(shù)據(jù)屬于人工數(shù)據(jù)，是有意測(cè)量、采集的數(shù)據(jù)；而大數(shù)據(jù)大多數(shù)是由智能系統(tǒng)自動(dòng)采集或人們無意留下的數(shù)據(jù)(比如，用戶在搜索引擎中使用的搜索關(guān)鍵字、服務(wù)器運(yùn)行的各種日志等)，因?yàn)楫?dāng)時(shí)沒有什么明顯的用途，很多大數(shù)據(jù)一度被稱為“垃圾數(shù)據(jù)”。目前，“數(shù)據(jù)排放”(data emission)——互聯(lián)網(wǎng)用戶留下的點(diǎn)點(diǎn)滴滴(如點(diǎn)擊記錄、瀏覽時(shí)間、評(píng)價(jià)內(nèi)容等)，都可以發(fā)掘出價(jià)值，目前正成為網(wǎng)絡(luò)經(jīng)濟(jì)主流。在大數(shù)據(jù)時(shí)代，有個(gè)口號(hào)就是，記錄一切數(shù)據(jù)，等待有趣的事發(fā)生。在特定的生態(tài)環(huán)境下，用適合的工具挖掘，大數(shù)據(jù)中的所謂“垃圾數(shù)據(jù)”就不再垃圾。

(2)從存儲(chǔ)介質(zhì)和處理平臺(tái)來看，小數(shù)據(jù)因?yàn)槿萘枯^小，常存儲(chǔ)于本地存儲(chǔ)介質(zhì)中，其處理平臺(tái)僅需單機(jī)即可完成，數(shù)據(jù)的處理者清楚地知道數(shù)據(jù)“身處何地”，可以“親力親為”地編寫對(duì)應(yīng)的數(shù)據(jù)分析程序。而現(xiàn)在的大數(shù)據(jù)，往往因數(shù)量過大，而不得已存放于“云端”中，“云深不知處”，云計(jì)算利用自己的“虛擬化”技術(shù)，讓用戶不知道也不需要知道數(shù)據(jù)存在哪臺(tái)“云計(jì)算”的服務(wù)器上。就如同用水、用電一樣，用戶無須知道自來水廠和發(fā)電廠在哪里一樣，僅僅打開水龍頭、按下開關(guān)就能得到水資源和電資源。所謂的云計(jì)算，就其本質(zhì)而言，就是一種以互聯(lián)網(wǎng)為連接中介，以租賃服務(wù)的方式，為用戶提供動(dòng)態(tài)可伸縮的虛擬化資源的計(jì)算模式。中國(guó)寬帶資本基金董事長(zhǎng)田溯寧先生曾總結(jié)說，大數(shù)據(jù)與云計(jì)算就好比一個(gè)問題的兩面。如果說大數(shù)據(jù)是有待解決的問題，那么云計(jì)算就是問題的解決方法。通過云計(jì)算對(duì)大數(shù)據(jù)進(jìn)行分析、預(yù)測(cè)，會(huì)使決策更加精準(zhǔn)，釋放出更多的隱藏價(jià)值。大數(shù)據(jù)，這個(gè)21 世紀(jì)人類探索的新邊疆，正在被新的計(jì)算模式——云計(jì)算所發(fā)現(xiàn)和征服。

(3)從數(shù)據(jù)性質(zhì)來說，小數(shù)據(jù)因“有意采集”來支持研究者的假設(shè)或觀點(diǎn)，因此可歸屬于“主觀數(shù)據(jù)”。相比較而言，大數(shù)據(jù)則因沒有事先滲透主觀意圖，數(shù)據(jù)的生產(chǎn)者反而能“真情流露”，從而更顯客觀性，因此屬于“客觀數(shù)據(jù)”。此外，根據(jù)舍恩伯格教授的觀點(diǎn)，大數(shù)據(jù)不再是隨機(jī)樣本，而是全體數(shù)據(jù)。全數(shù)據(jù)是由多維度數(shù)據(jù)構(gòu)成的。一個(gè)事物的全息可見，自然比單維度的采集要來得客觀。有些商家(特別是大型電商)就是利用顧客的多維度、多層面“用戶畫像”來更刻畫客戶特征，從而達(dá)到精準(zhǔn)營(yíng)銷。舍恩伯格教授在其著作《大數(shù)據(jù)時(shí)代》一書中，開門見山地提出了大數(shù)據(jù)的哲學(xué)意義：“大數(shù)據(jù)開啟了一次重大的時(shí)代轉(zhuǎn)型。就像借助望遠(yuǎn)鏡，讓我們能夠感知浩瀚的宇宙，借助顯微鏡，我們能夠觀測(cè)渺小的微生物一樣，大數(shù)據(jù)正作為人類認(rèn)知世界的新手段、新方法、新工具，改變我們的生活、工作以及理解世界的方式，成為新發(fā)明和新服務(wù)的源泉，而更多的改變正蓄意待發(fā)……”由此可見，大數(shù)據(jù)，除了在信息科學(xué)領(lǐng)域成為研究熱點(diǎn)外，在哲學(xué)層面的認(rèn)知，也應(yīng)有所突破，這也是人類進(jìn)一步認(rèn)識(shí)世界的迫切需求。