解析深度學習：語音識彆實踐 pdf epub mobi txt 電子書 下載2025

想要找書就要到 小美書屋

立刻按 ctrl+D收藏本頁

你會得到大驚喜!!

AlphaGo與李世石的圍棋大戰激發瞭人們對人工智能是非的諸多爭論。人工智能背後的工作原理深度學習跳入大眾的視野。AlphaGo的大獲全勝一定程度展示瞭深度學習在應用領域的成功，而語音識彆正是深度學習取得顯著成功的應用領域之一。

本書是首次以深度學習為主綫介紹語音識彆應用的書籍，對讀者瞭解語音識彆技術及其發展曆程有重要的參考價值。

本書作者俞棟、鄧力均是該領域的著名專傢，他們是深度學習在應用領域取得突破性進展的推動者與實踐者，他們在書中分享的研究成果一定程度上代錶瞭本領域最新的研究進展；譯者俞凱、錢彥旻也是本領域的資深專傢，並有眾多實踐成果。對於從事此領域研究的讀者來說，本書無疑有重要的參考價值。

《解析深度學習：語音識彆實踐》是首部介紹語音識彆中深度學習技術細節的專著。全書首先概要介紹瞭傳統語音識彆理論和經典的深度神經網絡核心算法。接著全麵而深入地介紹瞭深度學習在語音識彆中的應用，包括"深度神經網絡-隱馬爾可夫混閤模型"的訓練和優化，特徵錶示學習、模型融閤、自適應，以及以循環神經網絡為代錶的若乾先進深度學習技術。

《解析深度學習：語音識彆實踐》適閤有一定機器學習或語音識彆基礎的學生、研究者或從業者閱讀，所有的算法及技術細節都提供瞭詳盡的參考文獻，給齣瞭深度學習在語音識彆中應用的全景。

俞棟

1998 年加入微軟公司，現任微軟研究院首席研究員、浙江大學兼職教授和中科大客座教授。他是語音識彆和深度學習方嚮的資深專傢，齣版瞭兩本專著，發錶瞭150 多篇論文，是近60 項專利的發明人及有廣泛影響力的深度學習開源軟件CNTK 的發起人和主要作者之一。他在基於深 度學習的語音識彆技術上的工作帶來瞭語音識彆研究方嚮的轉變，極大地推動瞭語音識彆領域的發展，並獲得2013 年IEEE 信號處理協會最佳論文奬。俞棟博士現擔任IEEE 語音語言處理專業委員會委員，曾擔任IEEE/ACM音頻、語音及語言處理匯刊、IEEE 信號處理雜誌等期刊的編委。

鄧力

世界著名人工智能、機器學習和語音語言信號處理專傢，現任微軟首席人工智能科學傢和深度學習技術中心研究經理。他在美國威斯康星大學先後獲碩士和博士學位，然後在加拿大滑鐵盧大學任教獲得終身正教授。其間，他還任麻省理工學院研究職位。1999 年加入微軟研究院曆任數職，並在2014 年初創辦深度學習技術中心，主持微軟公司和研究院的人工智能和深度學習領域的技術創新。 鄧立博士的研究方嚮包括自動語音與說話者識彆、口語識彆與理解、語音-語音翻譯、機器翻譯、語言模式、統計方法與機器學習、聽覺和其他生物信息處理、深層結構學習、類腦機器智能、圖像語言多模態深度學習，商業大數據深度分析等。他在上述領域做齣瞭重大貢獻，是ASA（美國聲學學會）會士、IEEE（美國電氣和電子工程師協會）會士和理事、ISCA（國際語音通信協會）會士，並憑藉在深度學習與自動語音識彆方嚮做齣的傑齣貢獻榮獲2015年度IEEE 信號處理技術成就奬。同時，他也曾在頂級雜誌和會議上發錶過與上述領域相關的300 餘篇學術論文，齣版過5 部著作，發明及閤作發明瞭超過70 多項專利。鄧立博士還擔任過IEEE 信號處理雜誌和《音頻、語音與語言處理學報》（IEEE/ACMTransactions on Audio, Speech & anguage Processing）的主編。

俞凱

IEEE 高級會員，上海交通大學計算機科學與工程係特彆研究員。清華大學本科、碩士，英國劍橋大學工程係博士。長期從事智能語音及語言處理、人機交互、模式識彆及機器學習的研究和産業化工作。他是國傢自然科學基金委優秀青年科學基金獲得者，上海市"東方學者"特聘教授；作為共同創始人和首席科學傢創立"蘇州思必馳信息科技有限公司"。現任中國聲學學會語音語言、聽覺及音樂分會執委會委員，中國計算機學會人機交互專委會委員，中國語音産業聯盟技術工作組副組長。他的研究興趣涉及語音識彆、語音閤成、口語理解、對話係統、認知型人機交互等智能語音語言處理技術的多個核心技術領域，在本領域的一流國際期刊和會議上發錶論文80 餘篇，申請專利10 餘項，取得瞭一係列研究、工程和産業化成果。在InterSpeech 及IEEE Spoken Language Processing 等國際會議上獲得3 篇國際會議優秀論文奬，獲得國際語音通信聯盟（ISCA）2013 年頒發的2008-2012 Computer Speech and Language 最優論文奬。受邀擔任InterSpeech 2009 語音識彆領域主席、EUSIPCO 2011/EUSIPCO 2014 語音處理領域主席、InterSpeech 2014 口語對話係統領域主席等。他負責搭建或參與搭建的大規模連續語音識彆係統，曾獲得美國國傢標準局（NIST）和美國國防部內部評測冠軍；作為核心技術人員，負責設計並實現的認知型統計對話係統原型，在CMU 組織的2010 年對話係統國際挑戰賽上獲得瞭可控測試的冠軍。作為項目負責人或Co-PI，他主持瞭歐盟第7 框架PARLANCE、國傢自然科學基金委、上海市教委、經信委，以及美國通用公司、蘇州思必馳信息科技有限公司的一係列科研及産業化項目。2014 年，因在智能語音技術産業化方麵的貢獻，獲得中國人工智能學會頒發的"吳文俊人工智能科學技術奬"。

錢彥旻

上海交通大學計算機科學與工程係助理研究員，博士。分彆在2007 年6 月和2013 年1 月於華中科技大學和清華大學獲得工學學士和工學博士學位。2013 年4 月起，任上海交通大學計算機科與工程係理研究員。同時從2015 年1 月至2015 年12 月，在英國劍橋大學工程係機器智能實驗室語音組進行訪問，作為項目研究員與語音識彆領域的著名科學傢Phil Woodland 教授和Mark Gales 教授開展閤作研究。現為IEEE、ISCA 會員，同時也是國際開源項目Kaldi 語音識彆工具包開發的項目組創始成員之一。此外，擔任IEEE Transactions on Audio, Speech, and Language Processing、SpeechCommunication、ICASSP、Interspeech、ASRU 等國際期刊和會議的審稿人。目前在國內外學術刊物和會議上發錶學術論文50 餘篇，Google Scholar 總引用數近1000 次。其中包括在語音識彆領域權威國際會議ICASSP、InterSpeech 和ASRU 上發錶論文30 餘篇，申請國傢專利共3 項，已授權1 項。2008 年獲科技奧運先進集體奬，2014 年獲中國人工智能學會頒發的"吳文俊人工智能科學技術奬進步奬"。曾作為負責人和主要參與者參加瞭包括英國EPSRC、國傢自然科學基金、國傢863 等多個項目。目前的研究領域包括：語音識彆、說話人和語種識彆、自然語言理解、深度學習建模、多媒體信號處理等。

譯者序 iv
序 vii
前言 ix
術語縮寫 xxii
符號 xxvii
第 1 章 簡介 1
1.1 自動語音識彆：更好的溝通之橋 . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 人類之間的交流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 人機交流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2 語音識彆係統的基本結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.3 全書結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3.1 第一部分：傳統聲學模型 . . . . . . . . . . . . . . . . . . . . . . 6
1.3.2 第二部分：深度神經網絡 . . . . . . . . . . . . . . . . . . . . . . 6
1.3.3 第三部分：語音識彆中的 DNN-HMM 混閤係統 . . . . . . . . . . 7
1.3.4 第四部分：深度神經網絡中的錶徵學習 . . . . . . . . . . . . . . 7
1.3.5 第五部分：高級的深度模型 . . . . . . . . . . . . . . . . . . . . . 7
第一部分 傳統聲學模型 9
第 2 章 混閤高斯模型 11
2.1 隨機變量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.2 高斯分布和混閤高斯隨機變量 . . . . . . . . . . . . . . . . . . . . . . . . 12
2.3 參數估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.4 采用混閤高斯分布對語音特徵建模 . . . . . . . . . . . . . . . . . . . . . 16
第 3 章 隱馬爾可夫模型及其變體 19
3.1 介紹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.2 馬爾可夫鏈 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3.3 序列與模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.3.1 隱馬爾可夫模型的性質 . . . . . . . . . . . . . . . . . . . . . . . . 23
3.3.2 隱馬爾可夫模型的仿真 . . . . . . . . . . . . . . . . . . . . . . . . 24
3.3.3 隱馬爾可夫模型似然度的計算 . . . . . . . . . . . . . . . . . . . . 24
3.3.4 計算似然度的高效算法 . . . . . . . . . . . . . . . . . . . . . . . . 26
3.3.5 前嚮與後嚮遞歸式的證明 . . . . . . . . . . . . . . . . . . . . . . 27
3.4 期望最大化算法及其在學習 HMM 參數中的應用 . . . . . . . . . . . . . 28
3.4.1 期望最大化算法介紹 . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4.2 使用 EM 算法來學習 HMM 參數——Baum-Welch 算法 . . . . . . 30
3.5 用於解碼 HMM 狀態序列的維特比算法 . . . . . . . . . . . . . . . . . . . 34
3.5.1 動態規劃和維特比算法 . . . . . . . . . . . . . . . . . . . . . . . . 34
3.5.2 用於解碼 HMM 狀態的動態規劃算法 . . . . . . . . . . . . . . . . 35
3.6 隱馬爾可夫模型和生成語音識彆模型的變體 . . . . . . . . . . . . . . . . 37
3.6.1 用於語音識彆的 GMM-HMM 模型 . . . . . . . . . . . . . . . . . 38
3.6.2 基於軌跡和隱藏動態模型的語音建模和識彆 . . . . . . . . . . . . 39
3.6.3 使用生成模型 HMM 及其變體解決語音識彆問題 . . . . . . . . . 40
第二部分 深度神經網絡 43
第 4 章 深度神經網絡 45
4.1 深度神經網絡框架 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2 使用誤差反嚮傳播來進行參數訓練 . . . . . . . . . . . . . . . . . . . . . 48
4.2.1 訓練準則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
4.2.2 訓練算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
4.3 實際應用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
4.3.1 數據預處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.2 模型初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.3 權重衰減 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.4 丟棄法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.3.5 批量塊大小的選擇 . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.3.6 取樣隨機化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.3.7 慣性係數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
4.3.8 學習率和停止準則 . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.3.9 網絡結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.3.10 可復現性與可重啓性 . . . . . . . . . . . . . . . . . . . . . . . . . 62
第 5 章 高級模型初始化技術 65
5.1 受限玻爾茲曼機 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
5.1.1 受限玻爾茲曼機的屬性 . . . . . . . . . . . . . . . . . . . . . . . . 67
5.1.2 受限玻爾茲曼機參數學習 . . . . . . . . . . . . . . . . . . . . . . 70
5.2 深度置信網絡預訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
5.3 降噪自動編碼器預訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
5.4 鑒彆性預訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.5 混閤預訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
5.6 采用丟棄法的預訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
第三部分 語音識彆中的深度神經網絡–隱馬爾可夫混閤模型 81
第 6 章 深度神經網絡–隱馬爾可夫模型混閤係統 83
6.1 DNN-HMM 混閤係統 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6.1.1 結構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
6.1.2 用 CD-DNN-HMM 解碼 . . . . . . . . . . . . . . . . . . . . . . . . 85
6.1.3 CD-DNN-HMM 訓練過程 . . . . . . . . . . . . . . . . . . . . . . . 86
6.1.4 上下文窗口的影響 . . . . . . . . . . . . . . . . . . . . . . . . . . 88
6.2 CD-DNN-HMM 的關鍵模塊及分析 . . . . . . . . . . . . . . . . . . . . . 90
6.2.1 進行比較和分析的數據集和實驗 . . . . . . . . . . . . . . . . . . 90
6.2.2 對單音素或者三音素的狀態進行建模 . . . . . . . . . . . . . . . . 92
6.2.3 越深越好 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
6.2.4 利用相鄰的語音幀 . . . . . . . . . . . . . . . . . . . . . . . . . . 94
6.2.5 預訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
6.2.6 訓練數據的標注質量的影響 . . . . . . . . . . . . . . . . . . . . . 95
6.2.7 調整轉移概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
6.3 基於 KL 距離的隱馬爾可夫模型 . . . . . . . . . . . . . . . . . . . . . . . 96
第 7 章 訓練和解碼的加速 99
7.1 訓練加速 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7.1.1 使用多 GPU 流水綫反嚮傳播 . . . . . . . . . . . . . . . . . . . . 100
7.1.2 異步隨機梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
7.1.3 增廣拉格朗日算法及乘子方嚮交替算法 . . . . . . . . . . . . . . 106
7.1.4 減小模型規模 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
7.1.5 其他方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
7.2 加速解碼 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2.1 並行計算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
7.2.2 稀疏網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
7.2.3 低秩近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
7.2.4 用大尺寸 DNN 訓練小尺寸 DNN . . . . . . . . . . . . . . . . . . 114
7.2.5 多幀 DNN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
第 8 章 深度神經網絡序列鑒彆性訓練 117
8.1 序列鑒彆性訓練準則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
8.1.1 最大相互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
8.1.2 增強型 MMI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
8.1.3 最小音素錯誤/狀態級最小貝葉斯風險 . . . . . . . . . . . . . . . 120
8.1.4 統一的公式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
8.2 具體實現中的考量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
8.2.1 詞圖産生 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
8.2.2 詞圖補償 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
8.2.3 幀平滑 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
8.2.4 學習率調整 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
8.2.5 訓練準則選擇 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8.2.6 其他考量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
8.3 噪聲對比估計 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
8.3.1 將概率密度估計問題轉換為二分類設計問題 . . . . . . . . . . . . 127
8.3.2 拓展到未歸一化的模型 . . . . . . . . . . . . . . . . . . . . . . . . 129
8.3.3 在深度學習網絡訓練中應用噪聲對比估計算法 . . . . . . . . . . 130
第四部分 深度神經網絡中的特徵錶示學習 133
第 9 章 深度神經網絡中的特徵錶示學習 135
9.1 特徵和分類器的聯閤學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
9.2 特徵層級 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
9.3 使用隨意輸入特徵的靈活性 . . . . . . . . . . . . . . . . . . . . . . . . . 140
9.4 特徵的魯棒性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
9.4.1 對說話人變化的魯棒性 . . . . . . . . . . . . . . . . . . . . . . . . 141
9.4.2 對環境變化的魯棒性 . . . . . . . . . . . . . . . . . . . . . . . . . 142
9.5 對環境的魯棒性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
9.5.1 對噪聲的魯棒性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
9.5.2 對語速變化的魯棒性 . . . . . . . . . . . . . . . . . . . . . . . . . 147
9.6 缺乏嚴重信號失真情況下的推廣能力 . . . . . . . . . . . . . . . . . . . . 148
第 10 章 深度神經網絡和混閤高斯模型的融閤 151
10.1 在 GMM-HMM 係統中使用由 DNN 衍生的特徵 . . . . . . . . . . . . . . 151
10.1.1 使用 Tandem 和瓶頸特徵的 GMM-HMM 模型 . . . . . . . . . . . 151
10.1.2 DNN-HMM 混閤係統與采用深度特徵的 GMM-HMM 係統的比較 154
10.2 識彆結果融閤技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
10.2.1 識彆錯誤票選降低技術（ ROVER） . . . . . . . . . . . . . . . . . 157
10.2.2 分段條件隨機場（ SCARF） . . . . . . . . . . . . . . . . . . . . . 159
10.2.3 最小貝葉斯風險詞圖融閤 . . . . . . . . . . . . . . . . . . . . . . 160
10.3 幀級彆的聲學分數融閤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
10.4 多流語音識彆 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
第 11 章 深度神經網絡的自適應技術 165
11.1 深度神經網絡中的自適應問題 . . . . . . . . . . . . . . . . . . . . . . . . 165
11.2 綫性變換 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
11.2.1 綫性輸入網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
11.2.2 綫性輸齣網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
11.3 綫性隱層網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
11.4 保守訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
11.4.1 L 2 正則項 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
11.4.2 KL 距離正則項 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
11.4.3 減少每個說話人的模型開銷 . . . . . . . . . . . . . . . . . . . . . 173
11.5 子空間方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
11.5.1 通過主成分分析構建子空間 . . . . . . . . . . . . . . . . . . . . . 175
11.5.2 噪聲感知、說話人感知及設備感知訓練 . . . . . . . . . . . . . . 176
11.5.3 張量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
11.6 DNN 說話人自適應的效果 . . . . . . . . . . . . . . . . . . . . . . . . . . 181
11.6.1 基於 KL 距離的正則化方法 . . . . . . . . . . . . . . . . . . . . . 181
11.6.2 說話人感知訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
第五部分 先進的深度學習模型 185
第 12 章 深度神經網絡中的錶徵共享和遷移 187
12.1 多任務和遷移學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
12.1.1 多任務學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
12.1.2 遷移學習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
12.2 多語言和跨語言語音識彆 . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
12.2.1 基於 Tandem 或瓶頸特徵的跨語言語音識彆 . . . . . . . . . . . . 190
12.2.2 共享隱層的多語言深度神經網絡 . . . . . . . . . . . . . . . . . . 191
12.2.3 跨語言模型遷移 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
12.3 語音識彆中深度神經網絡的多目標學習 . . . . . . . . . . . . . . . . . . . 197
12.3.1 使用多任務學習的魯棒語音識彆 . . . . . . . . . . . . . . . . . . 197
12.3.2 使用多任務學習改善音素識彆 . . . . . . . . . . . . . . . . . . . . 198
12.3.3 同時識彆音素和字素（ graphemes） . . . . . . . . . . . . . . . . . 199
12.4 使用視聽信息的魯棒語音識彆 . . . . . . . . . . . . . . . . . . . . . . . . 199
第 13 章 循環神經網絡及相關模型 201
13.1 介紹 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
13.2 基本循環神經網絡中的狀態-空間公式 . . . . . . . . . . . . . . . . . . . . 203
13.3 沿時反嚮傳播學習算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
13.3.1 最小化目標函數 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
13.3.2 誤差項的遞歸計算 . . . . . . . . . . . . . . . . . . . . . . . . . . 205
13.3.3 循環神經網絡權重的更新 . . . . . . . . . . . . . . . . . . . . . . 206
13.4 一種用於學習循環神經網絡的原始對偶技術 . . . . . . . . . . . . . . . . 208
13.4.1 循環神經網絡學習的難點 . . . . . . . . . . . . . . . . . . . . . . 208
13.4.2 迴聲狀態（ Echo-State）性質及其充分條件 . . . . . . . . . . . . . 208
13.4.3 將循環神經網絡的學習轉化為帶約束的優化問題 . . . . . . . . . 209
13.4.4 一種用於學習 RNN 的原始對偶方法 . . . . . . . . . . . . . . . . 210
13.5 結閤長短時記憶單元（ LSTM）的循環神經網絡 . . . . . . . . . . . . . . 212
13.5.1 動機與應用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
13.5.2 長短時記憶單元的神經元架構 . . . . . . . . . . . . . . . . . . . . 213
13.5.3 LSTM-RNN 的訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . 214
13.6 循環神經網絡的對比分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
13.6.1 信息流方嚮的對比：自上而下還是自下而上 . . . . . . . . . . . . 215
13.6.2 信息錶徵的對比：集中式還是分布式 . . . . . . . . . . . . . . . . 217
13.6.3 解釋能力的對比：隱含層推斷還是端到端學習 . . . . . . . . . . 218
13.6.4 參數化方式的對比：吝嗇參數集閤還是大規模參數矩陣 . . . . . 218
13.6.5 模型學習方法的對比：變分推理還是梯度下降 . . . . . . . . . . 219
13.6.6 識彆正確率的比較 . . . . . . . . . . . . . . . . . . . . . . . . . . 220
13.7 討論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
第 14 章 計算型網絡 223
14.1 計算型網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
14.2 前嚮計算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
14.3 模型訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
14.4 典型的計算節點 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
14.4.1 無操作數的計算節點 . . . . . . . . . . . . . . . . . . . . . . . . . 232
14.4.2 含一個操作數的計算節點 . . . . . . . . . . . . . . . . . . . . . . 232
14.4.3 含兩個操作數的計算節點 . . . . . . . . . . . . . . . . . . . . . . 237
14.4.4 用來計算統計量的計算節點類型 . . . . . . . . . . . . . . . . . . 244
14.5 捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
14.6 循環連接 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
14.6.1 隻在循環中一個接一個地處理樣本 . . . . . . . . . . . . . . . . . 249
14.6.2 同時處理多個句子 . . . . . . . . . . . . . . . . . . . . . . . . . . 251
14.6.3 創建任意的循環神經網絡 . . . . . . . . . . . . . . . . . . . . . . 252
第 15 章 總結及未來研究方嚮 255
15.1 路綫圖 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
15.1.1 語音識彆中的深度神經網絡啓濛 . . . . . . . . . . . . . . . . . . 255
15.1.2 深度神經網絡訓練和解碼加速 . . . . . . . . . . . . . . . . . . . . 258
15.1.3 序列鑒彆性訓練 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
15.1.4 特徵處理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
15.1.5 自適應 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
15.1.6 多任務和遷移學習 . . . . . . . . . . . . . . . . . . . . . . . . . . 261
15.1.7 捲積神經網絡 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
15.1.8 循環神經網絡和長短時記憶神經網絡 . . . . . . . . . . . . . . . . 261
15.1.9 其他深度模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
15.2 技術前沿和未來方嚮 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
15.2.1 技術前沿簡析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
15.2.2 未來方嚮 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
參考文獻 267
· · · · · · (收起)