日本免费精品视频,男人的天堂在线免费视频,成人久久久精品乱码一区二区三区,高清成人爽a毛片免费网站

第 1 章 大數據與機器學習

1.1 大數據定義1.2 Hadoop簡介1.3 Hadoop HDFS分布式文件系統1.4 Hadoop MapReduce的介紹1.5 Spark的介紹1.6 機器學習的介紹

1.1 大數據定義大數據(Big data)又稱為巨量資料、巨量數據或海量數據。一般來說大數據的特性可歸類為3V：? Volume(大量數據)? 因特網、企業 IT、物聯網、社區、短信、電話、網絡搜索、在線交易等，隨時都在快速累積龐大的數據。? 數據量很容易達到TB(Terabyte，1024 GB)，甚至 PB(Petabyte，1024TB)或EB(Exabyte，1024 PB)的等級。? Variety(多樣性)大數據的數據類型非常多樣化，可分為非結構化信息和結構化信息。? 非結構化信息：文字、圖片、圖像、視頻、音樂、地理位置信息、個人化信息——如社區、交友數據等。? 結構化信息：數據庫、數據倉庫等。? Velocity(時效性)? 數據的傳輸流動：隨著帶寬越來越大、設備越來越多，每秒產生的數據流越來越大。? 組織必須能實時處理大量的信息：因為時間太久就失去了數據的價值，數據必須能在最短時間內得出分析結果。大數據的影響已經深入到各個領域和行業，在商業、經濟及其他領域中，將大量數據進行分析后，就可得出許多數據的關聯性。可用于預測商業趨勢、營銷研究、金融財務、疾病研究、打擊犯罪等。決策行為將基于數據和分析的結果，而不是依靠經驗和直覺。1.2 Hadoop 簡介Hadoop是存儲與處理大量數據的平臺，是Apache軟件基金會的開放源碼、免費且廣泛使用的軟件。Hadoop名稱來自于原作者孩子的黃色小象玩具。這個名字容易拼字與發音，適合作為軟件開發代碼，黃色小象因此成為Hadoop的標志。? Hadoop的發展歷史2002年Doug Cutting與Mike Cafarelia開始進行Nutch項目。2003年Google發表GFS(Google File System)與MapReduce論文。2004年Doug Cutting開始將DFS與MapReduce加入Nutch項目。2006年Doug Cutting加入Yahoo團隊，并將Nutch改名為Hadoop。2008年Yahoo使用Hadoop包含了910個集群，對1TB的數據排序花了297秒。? Hadoop特性特性 說明可擴展性(Scalable) 由于Hadoop采用分布式計算與存儲，當我們擴充容量或運算時，不需要更換整個系統，只需要增加新的數據節點服務器即可經濟性(Economical) 由于Hadoop采用分布式計算與存儲，不必使用昂貴高端的服務器，只需一般等級的服務器就可架構出高性能、高容量的集群彈性(Flexible) 傳統的關系數據庫存儲數據時必須有數據表結構schema(各個數據對象的集合)，然而Hadoop存儲的數據是非結構化(schema-less)的，也就是說可以存儲各種形式、不同數據源的數據性(Reliable) Hadoop采用分布式架構，因此即使某一臺服務器硬件壞掉，甚至整個機架壞掉，HDFS仍可正常運行，因為數據還會有另外2個副本1.3 Hadoop HDFS分布式文件系統 HDFS采用分布式文件系統(Hadoop Distributed File System)，可以由單臺服務器擴充到數千臺服務器，如圖1-1所示。 圖1-1 HDFS采用分布式文件系統的可擴充架構? NameNode服務器負責管理與維護HDFS目錄系統并控制文件的讀寫操作。? 多個DataNode服務器負責存儲數據，在圖1-1中我們只列出3個DataNode，實際上大型的集群可以有成千上萬個節點。? HDFS設計的前提與目標? 硬件故障是常態而不是異常(Hardware Failure)HDFS是設計運行在低成本的普通服務器上的。硬件故障是常態，而不是異常，所以HDFS被設計成具有高度容錯能力，能夠實時檢測錯誤并且自動恢復，這是HDFS最核心的設計目標。? Streaming流式數據存取(Streaming Data Access)運行在HDFS上的應用程序會通過Streaming存取數據集。HDFS的主要設計是批處理，而不是實時互動處理，優點是可以提高存取大量數據的能力，但是犧牲了響應時間。? 大數據集(Large Data Sets)為了存儲大數據集，HDFS提供了cluster集群架構，用于存儲大數據文件，集群可擴充至數百個節點。? 簡單一致性模型(Simple Coherency Model)HDFS的存取模式是一次寫入多次讀取(write-once-read-many)。一個文件被創建后就不會再修改。這樣設計的優點是：可以提高存儲大量數據的能力，并簡化數據一致性的問題。? 移動“計算”比移動“數據”成本更低(Moving Computation is Cheaper than Moving Data)當我們的cluster集群存儲了大量的數據時，要搬移數據必須耗費大量的時間成本。因此如果我們有“計算”數據的需求時，就會將“計算功能”在接近數據的服務器中運行，而不是搬移數據。? 跨硬件與軟件平臺HDFS在設計時就考慮到平臺的可移植性。這種特性有利于Hadoop的推廣。? HDFS文件存儲架構(見圖1-2) 圖1-2 HDFS文件存儲架構? 文件分割? 當用戶以HDFS命令要求存儲文件時，系統會將文件切割為多個區塊(Block)，每個區塊是64MB。在圖1-2中，文件被分割為A、B、C共3個區塊。? 區塊副本策略? 一個文件區塊默認會復制成3份，你可以在Hadoop配置中設置文件區塊要創建幾個副本。? 文件區塊損壞時，NameNode會自動尋找位于其他DataNode上的副本來恢復數據，維持3份的副本策略。? 機架感知? 在圖1-2中，共有Rack1、Rack2、Rack3共3個機架，每個機架都有4臺DataNode服務器。? HDFS具備機架感知功能，如圖1-2所示。以Block C為例：及時份副本放在Rack1機架的節點，第二份放在同機架Rack1的不同節點，一份放在不同機架Rack3的不同節點。? 這樣設計的好處是防止數據遺失，有任何機架出現故障仍可以保障恢復數據，提高網絡性能。1.4 Hadoop MapReduce的介紹利用大數據進行數據分析處理時，數據量龐大，所需的運算量也巨大。Hadoop MapReduce的做法是采用分布式計算的技術：? Map將任務分割成更小任務，由每臺服務器分別運行，如圖1-3所示。? Reduce將所有服務器的運算結果匯總整理，返回的結果。通過MapReduce方式，可以在上千臺機器上并行處理巨量的數據，大大減少數據處理的時間。? MapReduce 版本2.0 YARNHadoop 新的MapReduce架構稱為YARN(Yet Another Resource Negotiator，另一種資源協調者)，是效率更高的資源管理核心。可以到下列網址查看YARN架構圖(見圖1-4)：hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html 圖1-4 YARN資源管理系統的架構圖從圖1-4中可以看到：? 在Client客戶端，用戶會向Resource Manager請求執行運算(或執行任務)。? 在NameNode會有Resource Manager統籌管理運算的請求。? 在其他的DataNode會有Node Manager負責運行，以及監督每一個任務(task)，并且向Resource Manager匯報狀態。? Hadoop MapReduce的計算框架如圖1-5所示，Hadoop MapReduce在運算時，需要將中間產生的數據存儲在硬盤中。然而，磁盤I/O往往是性能的瓶頸，因此會有讀寫數據延遲的問題。 圖1-5 Hadoop MapReduce運算過程的示意圖在后續章節，我們介紹的Spark是基于內存的計算框架，可以大幅提升性能。1.5 Spark的介紹Apache Spark是開放源碼的集群運算框架，由加州大學伯克利分校的AMPLab開發。Spark是一個彈性的運算框架，適合進行Spark Streaming數據流處理、Spark SQL互動分析、MLlib機器學習等應用，因此Spark可成為一個用途廣泛的大數據運算平臺。Spark允許用戶將數據加載到cluster集群的內存中存儲，并多次重復運算，非常適合用于機器學習的算法。? Spark in-memory的計算框架如圖1-6所示，Spark是基于內存的計算框架。Spark在運算時，將中間產生的數據暫存在內存中，因此可以加快運行速度。尤其是需要反復操作的次數越多，所需讀取的數據量越大，就越能看出Spark的性能。Spark在內存中運行程序，命令運行速度(或命令周期)能比Hadoop MapReduce的命令運行速度快上100倍，即便是運行于硬盤上時Spark的速度也能快上10倍。 圖1-6 Spark in-memory的計算框架? Spark發展歷史年代 說明2009 由Matei Zaharia在加州大學伯克利分校的AMPLab開發2010 通過BSD授權條款開放源碼2013 該項目被捐贈給Apache軟件基金會2014/2 Spark成為Apache的頂級項目2014/11 Databricks團隊使用Spark刷新數據排序的世界紀錄2015/3 Spark 1.3.1版? Spark特色特色 說明命令周期短 Spark是基于內存計算的開放源碼集群運算系統，比原先的Hadoop MapReduce快100倍易于開發程序 目前Spark支持多種語言：Scala、Python、Java，也就是說開發者可以根據應用的環境來決定使用哪一種語言開發Spark程序，更具彈性，更符合開發時的需求Hadoop兼容 Spark提供了Hadoop Storage API，使它支持Hadoop的HDFS存儲系統。并且支持Hadoop YARN，可共享存儲資源與運算，而且幾乎與Hive兼容可在各平臺運行 ? 我們可以在本地端的機器上運行Spark程序，只需要import Spark的鏈接庫即可? 也可以在自有的群集上運行Spark程序，例如Mesos、Hadoop YARN等自行建立的群集? 針對更大規模的計算工作，我們可以選擇將Spark程序送至AWS的EC2平臺上運行，按照用戶使用的計算資源計費? Spark主要功能(參考圖1-7) 圖1-7 Spark的主要功能模塊功能 說明Spark SQL Spark SQL可以使用熟知的SQL查詢語言來運行數據分析Spark Streaming Spark Streaming可實現實時的數據串流的處理，具有大數據量、容錯性、可擴充性等特點GraphX GraphX是Spark上的分布式圖形處理架構，可用圖表計算MLlib MLlib是一個可擴充的Spark機器學習庫，可使用許多常見的機器學習算法，簡化大規模機器學習的時間。算法包括分類與回歸、支持向量機、回歸、線性回歸、決策樹、樸素貝葉斯、聚類分析、協同過濾等1.6 機器學習的介紹由于機器學習技術的進步，應用相當廣泛，例如推薦引擎、定向廣告、需求預測、垃圾郵件過濾、醫學診斷、自然語言處理、搜索引擎、欺詐檢測、證券分析、視覺識別、語音識別、手寫識別等。? 機器學習架構機器學習(Machine Learning)是通過算法，使用歷史數據進行訓練，訓練完成后會產生模型。未來當有新的數據提供時，我們可以使用訓練產生的模型進行預測。機器學習訓練用的數據是由Features、Label組成的。? Feature：數據的特征，例如濕度、風向、風速、季節、氣壓。? Label：數據的標簽，也就是我們希望預測的目標，例如降雨(0.不會下雨、1.會下雨)、天氣(1.晴天、2.雨天、3.陰天、4.下雪)、氣溫。如圖1-8所示，機器學習可分為以下兩個階段。? 訓練階段(Training)訓練數據是過去累積的歷史數據，可能是文本文件、數據庫或其他來源。經過Feature Extraction(特征提取)，產生Feature(數據特征)與Label(預測目標)，然后經過機器學習算法的訓練后產生模型。? 預測階段(Predict)新輸入數據(可能是文本文件、數據庫或其他來源)，經過Feature Extraction(特征提取)產生Feature，使用訓練完成的模型進行預測，產生預測結果。 圖1-8 機器學習的兩個階段? 機器學習分類對于有監督的學習(Supervised Learning)，從現有數據我們希望預測的答案有下列分類。? 二元分類我們已知濕度、風向、風速、季節、氣壓等數據特征，希望預測當天是否會下雨(0. 不會下雨、1. 會下雨)。因為希望預測的目標Label只有2種選項，所以就像是非題。? 多元分類我們已知濕度、風向、風速、季節、氣壓等數據特征，希望預測當天的天氣(1. 晴天、2. 雨天、3. 陰天、4. 下雪)。因為希望預測的目標Label有多個選項，所以就像選擇題。? 回歸分析我們已知濕度、風向、風速、季節、氣壓等數據特征，希望預測當天的氣溫。因為希望預測的目標Label是連續值，所以就像是計算題。但是對于無監督的學習(Unsupervised Learning)，從現有數據我們不知道要預測的答案，所以沒有Label(預測目標)。cluster聚類分析的目的是將數據分成幾個相異性較大的群組，而群組內的相似性較高。根據上述內容我們可以整理出下列表格。分類 算法 Features(特征) Label(預測目標)有監督的學習 二元分類(Binary Classification) 濕度、風向、風速、季節、氣壓…… 只有0與1選項(是非題)0. 不會下雨、1. 會下雨有監督的學習 多元分類(Multi-Class Classification) 濕度、風向、風速、季節、氣壓…… 有多個選項(選擇題)1. 晴天、2. 雨天、3. 陰天、4. 下雪有監督的學習 回歸分析(Regression) 濕度、風向、風速、季節、氣壓…… 值是數值(計算題)溫度可能是 -50～50度的范圍無監督的學習 聚類分析(Clustering) 濕度、風向、風速、季節、氣壓…… 無LabelCluster聚類分析；目的是將數據分成幾個相異性較大的群組，而群組內的相似性較高機器學習分類可以整理成圖1-9。 圖1-9 機器學習的分類