日本免费精品视频,男人的天堂在线免费视频,成人久久久精品乱码一区二区三区,高清成人爽a毛片免费网站

第1章

準備工作

本書主要內容

本書講的是利用Python進行數據控制、處理、整理、分析等方面的具體細節和基本要點。同時，它也是利用Python進行科學計算的實用指南(專門針對數據密集型應用)。本書重點介紹了用于高效解決各種數據分析問題的Python語言和庫。本書沒有闡述如何利用Python實現具體的分析方法。

當書中出現“數據”時，究竟指的是什么呢？主要指的是結構化數據(structured data)，這個故意含糊其辭的術語代指了所有通用格式的數據，例如：

多維數組(矩陣)。

表格型數據，其中各列可能是不同的類型(字符串、數值、日期等)。比如保存在關系型數據庫中或以制表符/逗號為分隔符的文本文件中的那些數據。

通過關鍵列(對于SQL用戶而言，就是主鍵和外鍵)相互聯系的多個表。

間隔平均或不平均的時間序列。

這絕不是一個完整的列表。大部分數據集都能被轉化為更加適合分析和建模的結構化形式，雖然有時這并不是很明顯。如果不行的話，也可以將數據集的特征提取為某種結構化形式。例如，一組新聞文章可以被處理為一張詞頻表，而這張詞頻表就可以用于情感分析。

大部分電子表格軟件(比如Microsoft Excel，它可能是世界上使用最廣泛的數據分析工具了)的用戶不會對此類數據感到陌生。

為什么要使用Python進行數據分析

許許多多的人(包括我自己)都很容易愛上Python這門語言。自從1991年誕生以來，Python現在已經成為受歡迎的動態編程語言之一，其他還有Perl、Ruby等。由于擁有大量的Web框架(比如Rails(Ruby)和Django(Python))，最近幾年非常流行使用Python和Ruby進行網站建設工作。這些語言常被稱作腳本(scripting)語言，因為它們可以用于編寫簡短而粗糙的小程序(也就是腳本)。我個人并不喜歡“腳本語言”這個術語，因為它好像在說這些語言無法用于構建嚴謹的軟件。在眾多解釋型語言中，Python較大的特點是擁有一個巨大而活躍的科學計算(scientific computing)社區。進入21世紀以來，在行業應用和學術研究中采用Python進行科學計算的勢頭越來越猛。

在數據分析和交互、探索性計算以及數據可視化等方面，Python將不可避免地接近于其他開源和商業的領域特定編程語言/工具，如R、MATLAB、SAS、Stata等。近年來，由于Python有不斷改良的庫(主要是pandas)，使其成為數據處理任務的一大替代方案。結合其在通用編程方面的強大實力，我們可以只使用Python這一種語言去構建以數據為中心的應用程序。

把Python當做粘合劑

作為一個科學計算平臺，Python的成功部分源于其能夠輕松地集成C、C 以及Fortran代碼。大部分現代計算環境都利用了一些Fortran和C庫來實現線性代數、挑選、積分、快速傅里葉變換以及其他諸如此類的算法。許多企業和國家實驗室也利用Python來“粘合”那些已經用了30多年的遺留軟件系統。

大多數軟件都是由兩部分代碼組成的：少量需要占用大部分執行時間的代碼，以及大量不經常執行的“粘合劑代碼”。粘合劑代碼的執行時間通常是微不足道的。開發人員的精力幾乎都是花在優化計算瓶頸上面的，有時更是直接轉用更低級的語言(比如C)。

最近這幾年，Cython項目已經成為Python領域中創建編譯型擴展以及對接C/C 代碼的一大途徑。

解決“兩種語言”問題

很多組織通常都會用一種類似于領域特定的計算語言(如MATLAB和R)對新的想法進行研究、原型構建和測試，然后再將這些想法移植到某個更大的生產系統中去(可能是用Java、C#或C 編寫的)。人們逐漸意識到，Python不僅適用于研究和原型構建，同時也適用于構建生產系統。我相信越來越多的企業也會這樣看，因為研究人員和工程技術人員使用同一種編程工具將會給企業帶來非常顯著的組織效益。

為什么不選Python

雖然Python非常適合構建計算密集型科學應用程序以及幾乎各種各樣的通用系統，但它對于不少應用場景仍然力有不逮。

由于Python是一種解釋型編程語言，因此大部分Python代碼都要比用編譯型語言(比如Java和C )編寫的代碼運行慢得多。由于程序員的時間通常都比CPU時間值錢，因此許多人也愿意在這里做一些權衡。但是，在那些要求延遲非常小的應用程序中(例如高頻交易系統)，為了盡較大可能地優化性能，耗費時間使用諸如C 這樣更低級、更低生產率的語言進行編程也是值得的。

對于高并發、多線程的應用程序而言(尤其是擁有許多計算密集型線程的應用程序)，Python并不是一種理想的編程語言。這是因為Python有一個叫做全局解釋器鎖(Global Interpreter Lock，GIL)的東西，這是一種防止解釋器同時執行多條Python字節碼指令的機制。有關“為什么會存在GIL”的技術性原因超出了本書的范圍，但是就目前來看，GIL并不會在短時間內消失。雖然很多大數據處理應用程序為了能在較短的時間內完成數據集的處理工作都需要運行在計算機集群上，但是仍然有一些情況需要用單進程多線程系統來解決。

這并不是說Python不能執行真正的多線程并行代碼，只不過這些代碼不能在單個Python進程中執行而已。比如說，Cython項目可以集成OpenMP(一個用于并行計算的C框架)以實現并行處理循環進而大幅度提高數值算法的速度。"

……