目录
前言
致谢
第1章引言
1.1自然语言处理的挑战
1.2神经网络和深度学习
1.3自然语言处理中的深度学习
1.4本书的覆盖面和组织结构
1.5本书未覆盖的内容
1.6术语
1.7数学符号
注释
部分有监督分类与前馈神经网络
第2章学习基础与线性模型
2.1有监督学习和参数化函数
2.2训练集、测试集和验证集
2.3线性模型
2.3.1二分类
2.3.2对数线性二分类
2.3.3多分类
2.4表示
2.5独热和稠密向量表示
2.6对数线性多分类
2.7训练和优化
2.7.1损失函数
2.7.2正则化
2.8基于梯度的优化
2.8.1随机梯度下降
2.8.2实例
2.8.3其他训练方法
第3章从线性模型到多层感知器
3.1线性模型的局限性：异或问题
3.2非线性输入转换
3.3核方法
3.4可训练的映射函数
第4章前馈神经网络
4.1一个关于大脑的比喻
4.2数学表示
4.3表达能力
4.4常见的非线性函数
4.5损失函数
4.6正则化与丢弃法
4.7相似和距离层
4.8嵌入层
第5章神经网络训练
5.1计算图的抽象概念
5.1.1前向计算
5.1.2反向计算（导数、反向传播）
5.1.3软件
5.1.4实现流程
5.1.5网络构成
5.2实践经验
5.2.1优化算法的选择
5.2.2初始化
5.2.3重启与集成
5.2.4梯度消失与梯度爆炸
5.2.5饱和神经元与死神经元
5.2.6随机打乱
5.2.7学习率
5.2.8minibatch
第二部分处理自然语言数据
第6章文本特征构造
6.1NLP分类问题中的拓扑结构
6.2NLP问题中的特征
6.2.1直接可观测特征
6.2.2可推断的语言学特征
6.2.3核心特征与组合特征
6.2.4n元组特征
6.2.5分布特征
第7章NLP特征的案例分析
7.1文本分类：语言识别
7.2文本分类：主题分类
7.3文本分类：作者归属
7.4上下文中的单词：词性标注
7.5上下文中的单词：命名实体识别
7.6上下文中单词的语言特征：介词词义消歧
7.7上下文中单词的关系：弧分解分析
第8章从文本特征到输入
8.1编码分类特征
8.1.1独热编码
8.1.2稠密编码（特征嵌入）
8.1.3稠密向量与独热表示
8.2组合稠密向量
8.2.1基于窗口的特征
8.2.2可变特征数目：连续词袋
8.3独热和稠密向量间的关系
8.4杂项
8.4.1距离与位置特征
8.4.2补齐、未登录词和词丢弃
8.4.3特征组合
8.4.4向量共享
8.4.5维度
8.4.6嵌入的词表
8.4.7网络的输出
8.5例子：词性标注
8.6例子：弧分解分析
第9章语言模型
9.1语言模型任务
9.2语言模型评估：困惑度
9.3语言模型的传统方法
9.3.1延伸阅读
9.3.2传统语言模型的限制
9.4神经语言模型
9.5使用语言模型进行生成
9.6副产品：词的表示
第10章预训练的词表示
10.1随机初始化
10.2有监督的特定任务的预训练
10.3无监督的预训练
10.4词嵌入算法
10.4.1分布式假设和词表示
10.4.2从神经语言模型到分布式表示
10.4.3词语联系
10.4.4其他算法
10.5上下文的选择
10.5.1窗口方法
10.5.2句子、段落或文档
10.5.3句法窗口
10.5.4多语种
10.5.5基于字符级别和子词的表示
10.6处理多字单元和字变形
10.7分布式方法的限制
第11章使用词嵌入
11.1词向量的获取
11.2词的相似度
11.3词聚类
11.4寻找相似词
11.5同中选异
11.6短文档相似度
11.7词的类比
11.8改装和映射
11.9实用性和陷阱
第12章案例分析:一种用于句子意义推理的前馈结构
12.1自然语言推理与 SNLI数据集
12.2文本相似网络
第三部分特殊的结构
第13章n元语法探测器：卷积神经网络
13.1基础卷积池化
13.1.1文本上的一维卷积
13.1.2向量池化
13.1.3变体
13.2其他选择：特征哈希
13.3层次化卷积
第14章循环神经网络：序列和栈建模
14.1RNN抽象描述
14.2RNN的训练
14.3RNN常见使用模式
14.3.1接收器
14.3.2编码器
14.3.3传感器
14.4双向RNN
14.5堆叠RNN
14.6用于表示栈的RNN
14.7文献阅读的注意事项
第15章实际的循环神经网络结构
15.1作为RNN的CBOW
15.2简单RNN
15.3门结构
15.3.1长短期记忆网络
15.3.2门限循环单元
15.4其他变体
15.5应用到RNN的丢弃机制
第16章通过循环网络建模
16.1接收器
16.1.1情感分类器
16.1.2主谓一致语法检查
16.2作为特征提取器的RNN
16.2.1词性标注
16.2.2RNNCNN文本分类
16.2.3弧分解依存句法分析
第17章条件生成
17.1RNN生成器
17.2条件生成（编码器）
17.2.1序列到序列模型
17.2.2应用
17.2.3其他条件上下文
17.3无监督的句子相似性
17.4结合注意力机制的条件生成
17.4.1计算复杂性
17.4.2可解释性
17.5自然语言处理中基于注意力机制的模型
17.5.1机器翻译
17.5.2形态屈折
17.5.3句法分析
第四部分其他主题
第18章用递归神经网络对树建模
18.1形式化定义
18.2扩展和变体
18.3递归神经网络的训练
18.4一种简单的替代——线性化树
18.5前景
第19章结构化输出预测
19.1基于搜索的结构化预测
19.1.1基于线性模型的结构化预测
19.1.2非线性结构化预测
19.1.3概率目标函数（CRF）
19.1.4近似搜索
19.1.5重排序
19.1.6参考阅读
19.2贪心结构化预测
19.3条件生成与结构化输出预测
19.4实例
19.4.1基于搜索的结构化预测：一阶依存句法分析
19.4.2基于NeuralCRF的命名实体识别
19.4.3基于柱搜索的NERCRF近似
第20章级联、多任务与半监督学习
20.1模型级联
20.2多任务学习
20.2.1多任务设置下的训练
20.2.2选择性共享
20.2.3作为多任务学习的词嵌入预训练
20.2.4条件生成中的多任务学习
20.2.5作为正则的多任务学习
20.2.6注意事项
20.3半监督学习
20.4实例
20.4.1眼动预测与句子压缩
20.4.2弧标注与句法分析
20.4.3介词词义消歧与介词翻译预测
20.4.4条件生成：多语言机器翻译、句法分析以及图像描述生成
20.5前景
第21章结论
21.1我们学到了什么
21.2未来的挑战
参考文献
· · · · · · (收起)