自然語言處理是計算語言學(xué)和人工智能之中與人機(jī)交互相關(guān)的領(lǐng)域之一。 本書是學(xué)習(xí)自然語言處理的一本綜合學(xué)習(xí)指南，介紹了如何用Python實(shí)現(xiàn)各種NLP任務(wù)，以幫助讀者創(chuàng)建基于真實(shí)生活應(yīng)用的項目。全書共10章，分別涉及字符串操作、統(tǒng)計語言建模、形態(tài)學(xué)、詞性標(biāo)注、語法解析、語義分析、情感分析、信息檢索、語篇分析和NLP系統(tǒng)評估等主題。 本書適合熟悉Python語言并對自然語言處理開發(fā)有一定了解和興趣的讀者閱讀參考。
自然語言處理(NLP)是有關(guān)計算語言學(xué)與人工智能的研究領(lǐng)域之一。NLP主要關(guān)注人機(jī)交互，它提供了計算機(jī)和人類之間的無縫交互，使得計算機(jī)在機(jī)器學(xué)習(xí)的幫助下理解人類語言。 本書詳細(xì)介紹如何使用Python執(zhí)行各種自然語言處理(NLP)任務(wù)，并幫助讀者掌握利用Python設(shè)計和構(gòu)建基于NLP的應(yīng)用的zui佳實(shí)踐。本書引導(dǎo)讀者應(yīng)用機(jī)器學(xué)習(xí)工具來開發(fā)各種各樣的模型。對于訓(xùn)練數(shù)據(jù)的創(chuàng)建和主要NLP應(yīng)用的實(shí)現(xiàn)，例如命名實(shí)體識別、問答系統(tǒng)、語篇分析、詞義消歧、信息檢索、情感分析、文本摘要以及指代消解等，本書都進(jìn)行了清晰的介紹。本書有助于讀者使用NLTK創(chuàng)建NLP項目并成為相關(guān)領(lǐng)域的專家。 通過閱讀本書，你將能夠: ● 實(shí)現(xiàn)字符串匹配算法以及標(biāo)準(zhǔn)化技術(shù)； ● 實(shí)現(xiàn)統(tǒng)計語言建模技術(shù)； ● 深刻理解詞干提取器、詞形還原器、形態(tài)分析器以及形態(tài)生成器的開發(fā)； ● 開發(fā)搜索引擎并實(shí)現(xiàn)詞性標(biāo)注和統(tǒng)計建模(包含n-gram方法)等相關(guān)概念； ● 熟悉諸如樹型庫建設(shè)、CFG建設(shè)、CYK以及Earley線圖解析算法等相關(guān)概念； ● 開發(fā)基于NER的系統(tǒng)并理解和應(yīng)用情感分析的相關(guān)概念； ● 理解并實(shí)現(xiàn)信息檢索和文本摘要等相關(guān)概念； ● 開發(fā)語篇分析系統(tǒng)以及基于指代消解的系統(tǒng)。
對自然語言處理理論和算法感興趣的讀者，Python程序員對自然語言處理理論和算法感興趣的讀者，Python程序員對自然語言處理理論和算法感興趣的讀者，Python程序員
第1章 字符串操作 1
1.1切分 1
1.1.1將文本切分為語句 2
1.1.2其他語言文本的切分 2
1.1.3將句子切分為單詞 3
1.1.4使用TreebankWordTokenizer
執(zhí)行切分 4
1.1.5使用正則表達(dá)式實(shí)現(xiàn)
切分 5
1.2標(biāo)準(zhǔn)化 8
1.2.1消除標(biāo)點(diǎn)符號 8
1.2.2文本的大小寫轉(zhuǎn)換 9
1.2.3處理停止詞 9
1.2.4計算英語中的停止詞 10
1.3替換和校正標(biāo)識符 11
1.3.1使用正則表達(dá)式替換
單詞 11
1.3.2用另一個文本替換文本的
示例 12
1.3.3在執(zhí)行切分前先執(zhí)行替換操作 12
1.3.4處理重復(fù)字符 13
1.3.5去除重復(fù)字符的示例 13
1.3.6用單詞的同義詞替換 14
1.3.7用單詞的同義詞替換的
示例 15
1.4在文本上應(yīng)用Zipf定律 15
1.5相似性度量 16
1.5.1使用編輯距離算法執(zhí)行相似性度量 16
1.5.2使用Jaccard系數(shù)執(zhí)行相似性度量 18
1.5.3使用Smith Waterman距離算法執(zhí)行相似性度量 19
1.5.4其他字符串相似性度量 19
1.6小結(jié) 20
第2章 統(tǒng)計語言建模 21
2.1理解單詞頻率 21
2.1.1為給定的文本開發(fā)
MLE 25
2.1.2隱馬爾科夫模型估計 32
2.2在MLE模型上應(yīng)用平滑 34
2.2.1加法平滑 34
2.2.2Good Turing平滑 35
2.2.3Kneser Ney平滑 40
2.2.4Witten Bell平滑 41
2.3為MLE開發(fā)一個回退機(jī)制 41
2.4應(yīng)用數(shù)據(jù)的插值以便獲取混合
搭配 42
2.5通過復(fù)雜度來評估語言模型 42
2.6在語言建模中應(yīng)用
Metropolis-Hastings算法 43
2.7在語言處理中應(yīng)用Gibbs
采樣法 43
2.8小結(jié) 46
第3章 形態(tài)學(xué)：在實(shí)踐中學(xué)習(xí) 47
3.1形態(tài)學(xué)簡介 47
3.2理解詞干提取器 48
3.3理解詞形還原 51
3.4為非英文語言開發(fā)詞干
提取器 52
3.5形態(tài)分析器 54
3.6形態(tài)生成器 56
3.7搜索引擎 56
3.8小結(jié) 61
第4章 詞性標(biāo)注：單詞識別 62
4.1詞性標(biāo)注簡介 62
默認(rèn)標(biāo)注 67
4.2創(chuàng)建詞性標(biāo)注語料庫 68
4.3選擇一種機(jī)器學(xué)習(xí)算法 70
4.4涉及n-gram的統(tǒng)計建模 72
4.5使用詞性標(biāo)注語料庫開發(fā)
分塊器 78
4.6小結(jié) 80
第5章 語法解析：分析訓(xùn)練資料 81
5.1語法解析簡介 81
5.2Treebank建設(shè) 82
5.3從Treebank提取上下文無關(guān)
文法規(guī)則 87
5.4從CFG創(chuàng)建概率上下文無關(guān)
文法 93
5.5CYK線圖解析算法 94
5.6Earley線圖解析算法 96
5.7小結(jié) 102
第6章 語義分析：意義很重要 103
6.1語義分析簡介 103
6.1.1NER簡介 107
6.1.2使用隱馬爾科夫模型的
NER系統(tǒng) 111
6.1.3使用機(jī)器學(xué)習(xí)工具包訓(xùn)練
NER 117
6.1.4使用詞性標(biāo)注執(zhí)行
NER 117
6.2使用Wordnet生成同義詞
集id 119
6.3使用Wordnet進(jìn)行詞義消歧 122
6.4小結(jié) 127
第7章 情感分析：我很快樂 128
7.1情感分析簡介 128
7.1.1使用NER執(zhí)行情感
分析 134
7.1.2使用機(jī)器學(xué)習(xí)執(zhí)行情感
分析 134
7.1.3NER系統(tǒng)的評估 141
7.2 小結(jié) 159
第8章 信息檢索：訪問信息 160
8.1 信息檢索簡介 160
8.1.1停止詞刪除 161
8.1.2使用向量空間模型進(jìn)行
信息檢索 163
8.2向量空間評分及查詢操作符
關(guān)聯(lián) 170
8.3使用隱性語義索引開發(fā)IR
系統(tǒng) 173
8.4文本摘要 174
8.5問答系統(tǒng) 176
8.6小結(jié) 177
第9章 語篇分析：理解才是可信的 178
9.1語篇分析簡介 178
9.1.1使用中心理論執(zhí)行語篇
分析 183
9.1.2指代消解 184
9.2小結(jié) 188
第10章 NLP系統(tǒng)評估：性能分析 189
10.1NLP系統(tǒng)評估要點(diǎn) 189
10.1.1NLP工具的評估(詞性標(biāo)注器、詞干提取器及形態(tài)分析器) 190
10.1.2使用黃金數(shù)據(jù)執(zhí)行解析器
評估 200
10.2IR系統(tǒng)的評估 201
10.3錯誤識別指標(biāo) 202
10.4基于詞匯搭配的指標(biāo) 202
10.5基于句法匹配的指標(biāo) 207
10.6使用淺層語義匹配的指標(biāo) 207
10.7小結(jié) 208
ok ok
不錯的書，雖然還沒看，看起來不錯哈
很好很強(qiáng)大
