日本免费精品视频,男人的天堂在线免费视频,成人久久久精品乱码一区二区三区,高清成人爽a毛片免费网站

第3章 進階篇 在第2章中，我們向讀者介紹了大量經典的機器學習模型，并且使用Python編程語言分析這些模型在許多不同現實數據上的性能表現。然而，細心的讀者在深入研究這些數據或者查閱Scikit-learn的文檔之后就會發現： 所有我們在第2章中使用過的數據幾乎都經過了規范化處理，而且模型也大多只是采用了默認的初始化配置。換言之，盡管我們可以使用經過處理之后的數據，在默認配置下學習到一套用以擬合這些數據的參數，并且使用這些參數和默認配置取得一些看似良好的性能表現；但是我們仍然無法回答幾個最為關鍵的問題： 實際研究和工作中接觸到的數據都是這樣規整的嗎？難道這些默認配置就是的么？我們的模型性能是否還有提升的空間？本章“3.1模型使用技巧”節將會幫助讀者朋友解答上述疑問。閱讀完這一節，相信各位讀者朋友就會掌握如何通過抽取或者篩選數據特征、優化模型配置，進一步提升經典模型的性能表現。 然而，隨著近些年機器學習研究與應用的快速發展，經典模型漸漸無法滿足日益增長的數據量和復雜的數據分析需求。因此，越來越多更加高效而且強力的學習模型以及對應的程序庫正逐漸被設計和編寫，并慢慢被科研圈和工業界所廣泛接受與采用。這些模型和程序庫包括： 用于自然語言處理的NLTK程序包；詞向量技術Word2Vec；能夠提供強大預測能力的XGBoost模型，以及Google的用于深度學習的Tensorflow框架等等。更加令人振奮的是，上述這些最為流行的程序庫和模型， 不但提供了Python的編程接口API，而且有些成為Python編程語言的工具包，更是方便了我們后續的學習和使用。因此，在“3.2流行庫/模型實踐”節將會帶領各位讀者一同領略這些時下最為流行的程序庫和新模型的奧妙。

3.1模型實用及技巧 這一節將向讀者朋友傳授一系列更加偏向于實戰的模型使用技巧。相信各位讀者在第2章中品味了多個經典的機器學習模型之后，就會發現： 一旦我們確定使用某個模型，本書所提供的程序庫就可以幫助我們從標準的訓練數據中，依靠默認的配置學習到模型所需要的參數(Parameters)；接下來，我們便可以利用這組得來的參數指導模型在測試數據集上進行預測，進而對模型的表現性能進行評價。 但是，這套方案并不能保障: (1) 所有用于訓練的數據特征都是好的；(2) 學習得到的參數一定是的；(3) 默認配置下的模型總是的。也就是說，我們可以從多個角度對在前面所使用過的模型進行性能提升。本節將向大家介紹多種提升模型性能的方式，包括如何預處理數據、控制參數訓練以及優化模型配置等方法。 3.1.1特征提升 早期機器學習的研究與應用，受模型種類和運算能力的限制。因此，大部分研發人員把更多的精力放在對數據的預處理上。他們期望通過對數據特征的抽取或者篩選來達到提升模型性能的目的。所謂特征抽取，就是逐條將原始數據轉化為特征向量的形式，這個過程同時涉及對數據特征的量化表示；而特征篩選則更進一步，在高維度、已量化的特征向量中選擇對指定任務更有效的特征組合，進一步提升模型性能。 3.1.1.1特征抽取 原始數據的種類有很多種，除了數字化的信號數據(聲紋、圖像)，還有大量符號化的文本。然而，我們無法直接將符號化的文字本身用于計算任務，而是需要通過某些處理手段，預先將文本量化為特征向量。 有些用符號表示的數據特征已經相對結構化，并且以字典這種數據結構進行存儲。這時，我們使用DictVectorizer對特征進行抽取和向量化。比如下面的代碼55。

代碼55： DictVectorizer對使用字典存儲的數據進行特征抽取與向量化 >>> # 定義一組字典列表，用來表示多個數據樣本(每個字典代表一個數據樣本)。 >>>measurements= [{'city': 'Dubai', 'temperature': 33.}, {'city': 'London', 'temperature': 12.}, {'city': 'San Fransisco', 'temperature': 18.}] >>> # 從sklearn.feature_extraction 導入 DictVectorizer >>>from sklearn.feature_extraction import DictVectorizer >>> # 初始化DictVectorizer特征抽取器 >>>vec=DictVectorizer() >>> # 輸出轉化之后的特征矩陣。 >>>print vec.fit_transform(measurements).toarray() >>> # 輸出各個維度的特征含義。 >>>print vec.get_feature_names()[[1. 0 0.33] [0. 1. 0.12.] [0. 0. 1.18.]] ['city=Dubai', 'city=London', 'city=San Fransisco', 'temperature']

從代碼55的輸出可以看到： 在特征向量化的過程中，DictVectorizer對于類別型(Categorical)與數值型(Numerical)特征的處理方式有很大差異。由于類別型特征無法直接數字化表示，因此需要借助原特征的名稱，組合產生新的特征，并采用0/1二值方式進行量化；而數值型特征的轉化則相對方便，一般情況下只需要維持原始特征值即可。 另外一些文本數據則表現得更為原始，幾乎沒有使用特殊的數據結構進行存儲，只是一系列字符串。我們處理這些數據，比較常用的文本特征表示方法為詞袋法(Bag of Words)： 顧名思義，不考慮詞語出現的順序，只是將訓練文本中的每個出現過的詞匯單獨視作一列特征。我們稱這些不重復的詞匯集合為詞表(Vocabulary)，于是每條訓練文本都可以在高維度的詞表上映射出一個特征向量。而特征數值的常見計算方式有兩種，分別是： CountVectorizer和TfidfVectorizer。對于每一條訓練文本，CountVectorizer只考慮每種詞匯(Term)在該條訓練文本中出現的頻率(Term Frequency)。而TfidfVectorizer除了考量某一詞匯在當前文本中出現的頻率(Term Frequency)之外，同時關注包含這個詞匯的文本條數的倒數(Inverse Document Frequency)。相比之下，訓練文本的條目越多，TfidfVectorizer這種特征量化方式就更有優勢。因為我們計算詞頻(Term Frequency)的目的在于找出對所在文本的含義更有貢獻的重要詞匯。然而，如果一個詞匯幾乎在每篇文本中出現，說明這是一個常用詞匯，反而不會幫助模型對文本的分類；在訓練文本量較多的時候，利用TfidfVectorizer壓制這些常用詞匯的對分類決策的干擾，往往可以起到提升模型性能的作用。 我們通常稱這些在每條文本中都出現的常用詞匯為停用詞(Stop Words)，如英文中的the、a等。這些停用詞在文本特征抽取中經常以黑名單的方式過濾掉，并且用來提高模型的性能表現。下面的代碼讓我們重新對“20類新聞文本分類”問題進行分析處理，這一次的重點在于列舉上述兩種文本特征量化模型的使用方法，并比較他們的性能差異。 ……