作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/36
本文地址：http://www.showmeai.tech/article-detail/246
声明：版权所有，转载请联系平台与作者并注明出处
收藏ShowMeAI查看更多精彩内容
ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！
本讲内容的深度总结教程可以在这里 查看。视频和课件等资料的获取方式见文末。
引言
授课计划
Final final project notes, etc. / 最终大项目要点
Motivation/History / 问答系统动机与历史
The SQuADdataset / SQuAD问答数据集
The Stanford Attentive Reader model / 斯坦福注意力阅读模型
BiDAF / BiDAF模型
Recent, more advanced architectures / 近期前沿模型
ELMo and BERT preview / ELMo与BERT预习与简单介绍
1.最终大项目要点
1.1 自定义Final Project
1.2 默认Final Project
1.3 Project 提交
1.4 项目顺利
1.5 谁是澳大利亚第三任总理
在谷歌中检索谁是澳大利亚第三任总理，可以获得答案。
技术说明：这是从web页面中提取的 特性片段 回答，而不是使用 (结构化的) 谷歌知识图 (以前称为Freebase) 回答的问题。
我们今天要谈论的就是这样的问题，而不是基于结构化数据存储的问答。
2.问答系统动机与历史
2.1 动机：问答
拥有大量的全文文档集合，例如网络，简单地返回相关文档的作用是有限的
相反，我们经常想要得到问题的答案
尤其是在移动设备上
或使用像Alexa、Google assistant这样的数字助理设备
我们可以把它分解成两部分：
1.查找 (可能) 包含答案的文档
可以通过传统的信息检索/web搜索处理
(下个季度我将讲授cs276，它将处理这个问题)
2.在一段或一份文件中找到答案
这个问题通常被称为阅读理解
这就是我们今天要关注的
2.2 阅读理解简史
许多早期的NLP工作尝试阅读理解
Schank, Abelson, Lehnert et al. c. 1977 – Yale A.I. Project
由Lynette Hirschman在1999年重提
NLP系统能回答三至六年级学生的人类阅读理解问题吗?简单的方法尝试
Chris Burges于2013年通过 MCTest 又重新复活 RC
再次通过简单的故事文本回答问题
2015/16年，随着大型数据集的产生，闸门开启，可以建立监督神经系统
Hermann et al. (NIPS 2015) DeepMind CNN/DM dataset
Rajpurkaret al. (EMNLP 2016) SQuAD
MS MARCO, TriviaQA, RACE, NewsQA, NarrativeQA, …
2.3 机器理解(Burges 2013)
一台机器能够理解文本的段落，对于大多数母语使用者能够正确回答的关于文本的任何问题，该机器都能提供一个字符串，这些说话者既能回答该问题，又不会包含与该问题无关的信息。
2.4 MCTest 阅读理解
P：Passage，文章
Q：Question，问题
A：Answer，答案
2.5 开放领域问答的简史
Simmons et al. (1964) 首先探索了如何基于匹配问题和答案的依赖关系解析，从说明性文本中回答问题
Murax (Kupiec1993) 旨在使用IR和浅层语言处理在在线百科全书上回答问题
NIST TREC QA track 始于 1999 年，首次严格调查了对大量文档的事实问题的回答
IBM的冒险！System (DeepQA, 2011)提出了一个版本的问题;它使用了许多方法的集合
DrQA (Chen et al. 2016) 采用 IR 结合神经阅读理解，将深度学习引入开放领域的 QA
2.6 千年之交的完整 NLP 问答
复杂的系统，但他们在 事实 问题上做得相当好
补充讲解
非常复杂的多模块多组件的系统
首先对问题进行解析，使用手写的语义规范化规则，将其转化为更好的语义形式
在通过问题类型分类器，找出问题在寻找的语义类型
信息检索系统找到可能包含答案的段落，排序后进行选择
NER识别候选实体再进行判断
这样的QA系统在特定领域很有效：Factoid Question Answering 针对实体的问答
3.SQuAD问答数据集
3.1 斯坦福问答数据集 (SQuAD)
Passage 是来自维基百科的一段文本，系统需要回答问题，在文章中找出答案
$1000k$ 个样本
答案必须是文章中的一系列单词序列
也就是提取式问答
3.2 SQuAD 评估，v1.1
作者收集了3个参考答案
系统在两个指标上计算得分
精确匹配：1/0的准确度，你是否匹配三个答案中的一个
F1：将系统和每个答案都视为词袋，并评估
$$ \text{Precision} =\frac{TP}{TP+FP} $$
$$ \text { Recall }=\frac{TP}{TP+FN} $$
$$ \text { harmonic mean } \mathrm{F} 1=\frac{2 PR}{P+R} $$
Precision 和 Recall 的调和平均值
分数是 (宏观) 平均每题 F1分数
F1测量被视为更可靠的指标，作为主要指标使用
它不是基于选择是否和人类选择的跨度完全相同，人类选择的跨度容易受到各种影响，包括换行
在单次级别匹配不同的答案
这两个指标忽视标点符号和冠词 (a, an, the only)
3.3 SQuAD 2.0
SQuAD1.0 的一个缺陷是，段落中所有问题都有答案
系统 (隐式地) 排名候选答案并选择最好的一个，这就变成了一种排名任务
你不必判断一个段落区间是否回答了这个问题
SQuAD2.0 中 $1/3$ 的训练问题没有回答，大约 $1/2$ 的开发/测试问题没有回答
对于No Answer examples，no answer 获得的得分为 $1$，对于精确匹配和 F1，任何其他响应的得分都为 $0$
SQuAD2.0 最简单的系统方法
对于一个 span 是否回答了一个问题有一个阈值评分
或者你可以有第二个确认回答的组件
类似 自然语言推理 或者 答案验证
3.4 得分高的系统并不能真正理解人类语言
系统没有真正了解一切，仍然在做一种匹配问题
3.5 SQuAD 局限
SQuAD 也有其他一些关键限制
通常不是真正的信息需求
一般来说，问题和答案之间的词汇和句法匹配比IRL更大
只有 span-based 答案 (没有 yes / no，计数，隐式的为什么)
问题是看着段落构造的
问题与文章高度重叠，无论是单词还是句法结构
除了共同参照，几乎没有任何多事实/句子推理
不过这是一个目标明确，结构良好的干净的数据集
它一直是 QA dataset 上最常用和最具竞争力的数据集
它也是构建行业系统的一个有用的起点 (尽管域内数据总是很有帮助！)
并且我们正在使用它
3.6 Stanford Attentive Reader
展示了一个最小的，非常成功的阅读理解和问题回答架构
后来被称为 the Stanford Attentive Reader
首先将问题用向量表示
对问题中的每个单词，查找其词嵌入
输入到双向 LSTM 中并将最终的 hidden state 拼接
再处理文章
查找每个单词的词嵌入并输入到双向 LSTM 中
使用双线性注意力，将每个LSTM的表示 (LSTM的两个隐藏状态的连接) 与问题表示做运算，获得了不同位置的注意力，从而获得答案的开始位置，再以同样方式获得答案的结束位置
为了在文章中找到答案，使用问题的向量表示，来解决答案在什么位置使用注意力
3.7 SQuAD v1.1 结果
4.斯坦福注意力阅读模型
4.1 Stanford Attentive Reader++
整个模型的所有参数都是端到端训练的，训练的目标是开始位置与结束为止的准确度，优化有两种方式
问题部分
不止是利用最终的隐藏层状态，而是使用所有隐层状态的加权和
使用一个可学习的向量 $w$ 与每个时间步的隐层状态相乘
深层 LSTM
文章中每个token的向量表示 $p_i$ 由一下部分连接而成
词嵌入 (GloVe 300 维)
词的语言特点：POS &NER 标签，one-hot 向量
词频率 (unigram 概率)
精确匹配：这个词是否出现在问题
三个二进制的特征： exact, uncased, lemma
对齐问题嵌入 ( 车 与 汽车 )
$$ f{\text {align}}\left(p{i}\right)=\sum{j} a{i, j} \mathbf{E}\left(q{j}\right) \quad q{i, j}=\frac{\exp \left(\alpha\left(\mathbf{E}\left(p{i}\right)\right) \cdot \alpha\left(\mathbf{E}\left(q{j}\right)\right)\right)}{\sum{j^{\prime}} \exp \left(\alpha\left(\mathbf{E}\left(p{i}\right)\right) \cdot \alpha\left(\mathbf{E}\left(q_{j}^{\prime}\right)\right)\right)} $$
4.2 神经模型的突出效果
4.3 这些神经模型做什么？
5.BiDAF模型
5.1 #论文解读# BiDAF
5.2 BiDAF
多年来，BiDAF architecture有许多变体和改进，但其核心思想是 the Attention Flow layer
思路：attention 应该双向流动——从上下文到问题，从问题到上下文
令相似矩阵 ( $w$ 的维数为 $6d$)
$$ \boldsymbol{S}{i j}=\boldsymbol{w}{\mathrm{sim}}^{T}\left[\boldsymbol{c}{i} ; \boldsymbol{q}{i} ; \boldsymbol{c}{i} \circ \boldsymbol{q}{j}\right] \in \mathbb{R} $$
Context-to-Question (C2Q) 注意力 (哪些查询词与每个上下文词最相关)
$$ \begin{aligned} \alpha^{i} &=\operatorname{softmax}\left(\boldsymbol{S}{i, :}\right) \in \mathbb{R}^{M} \quad \forall i \in{1, \ldots, N} \ \boldsymbol{a}{i} &=\sum{j=1}^{M} \alpha{j}^{i} \boldsymbol{q}_{j} \in \mathbb{R}^{2 h} \quad \forall i \in{1, \ldots, N} \end{aligned} $$
Question-to-Context (Q2C) 注意力 (上下文中最重要的单词相对于查询的加权和——通过 max 略有不对称)
通过 max 取得上下文中的每个单词对于问题的相关度
$$ \begin{aligned} \boldsymbol{m}{i} &=\max {j} \boldsymbol{S}{i j} \in \mathbb{R} \quad \forall i \in{1, \ldots, N} \ \beta &=\operatorname{softmax}(\boldsymbol{m}) \in \mathbb{R}^{N} \ \boldsymbol{c}^{\prime} &=\sum{i=1}^{N} \beta{i} \boldsymbol{c}{i} \in \mathbb{R}^{2 h} \end{aligned} $$
对于文章中的每个位置，BiDAF layer 的输出为
$$ \boldsymbol{b}{i}=\left[\boldsymbol{c}{i} ; \boldsymbol{a}{i} ; \boldsymbol{c}{i} \circ \boldsymbol{a}{i} ; \boldsymbol{c}{i} \circ \boldsymbol{c}^{\prime}\right] \in \mathbb{R}^{8 h} \quad \forall i \in{1, \ldots, N} $$
然后有 modelling 层
文章通过另一个深 (双层) BiLSTM
然后回答跨度选择更为复杂
Start：通过 BiDAF 和 modelling 的输出层连接到一个密集的全连接层然后 softmax
End：把 modelling 的输出 $M$ 通过另一个BiLSTM得到 $M_2$，然后再与 BiDAF layer 连接，并通过密集的全连接层和 softmax
6.近期前沿模型
6.1 最新的、更高级的体系结构
2016年、2017年和2018年的大部分工作都采用了越来越复杂的架构，其中包含了多种注意力变体——通常可以获得很好的任务收益
人们一直在尝试不同的 Attention
6.2 #论文解读# Dynamic CoattentionNetworks for Question Answering
（本网络频繁使用到LSTM/GRU结构，具体的RNN细节讲解可以查看ShowMeAI的对吴恩达老师课程的总结文章深度学习教程 | 序列模型与RNN网络，也可以查看本系列的前序文章NLP教程(5) - 语言模型、RNN、GRU与LSTM）
缺陷：问题具有独立于输入的表示形式
一个全面的QA模型需要相互依赖
6.3 Coattention Encoder
6.4 Coattention layer
Coattention layer 再次提供了一个上下文之间的双向关注问题
然而，coattention 包括两级注意力计算：
关注那些本身就是注意力输出的表象
我们使用C2Q注意力分布 $\alpha _i$，求得Q2C注意力输出 $\boldsymbol{b}j$ 的加权和。这给了我们第二级注意力输出 $\boldsymbol{s}{i}$
$$ \boldsymbol{s}{i}=\sum{j=1}^{M+1} \alpha{j}^{i} \boldsymbol{b}{j} \in \mathbb{R}^{l} \quad \forall i \in{1, \ldots, N} $$
6.5 Co-attention ： SQUAD 比赛结果
https://rajpurkar.github.io/SQuAD-explorer/
6.6 #论文解读# FusionNet
注意力机制
MLP (Additive) 形式
$$ S{i j}=s^{T} \tanh \left(W{1} c{i}+W{2} q_{j}\right) $$
空间复杂度：$O(mnk)$, W is kxd
Bilinear (Product) form
$$ S{i j}=c{i}^{T} W q_{j} $$
$$ S{i j}=c{i}^{T} U^{T} V q_{j} $$
$$ S{i j}=c{i}^{T} W^{T} D W q_{j} $$
$$ S{i j}=\operatorname{Relu}\left(c{i}^{T} W^{T}\right) \operatorname{DRelu}\left(W q_{j}\right) $$
空间复杂度：$O((m+n)k)$
更小的空间消耗
非线性表达能力
6.7 FusionNet试图将多种形式的注意力结合起来
6.8 多层次的inter-attention
经过多层次的 inter-attention，使用 RNN、self-attention 和另一个 RNN 得到上下文的最终表示 $\left{\boldsymbol{u}_{i}^{C}\right}$
6.9 最近、更先进的结构
2016年、2017年和2018年的大部分工作都采用了越来越复杂的体系结构，这些体系结构具有多种不同的关注方式，通常可以获得很好的任务收益
7.ELMo与BERT预习与简单介绍
7.1 ELMO and BERT 预习
7.2 SQUAD 2.0 排行榜，2019-02-07
7.3 #论文解读
7.4 #论文解读# Documen Retriever
7.5 #论文解读# DrQA Demo
7.6 #论文解读# 一般性问题
8.视频教程
可以点击 B站 查看视频的【双语字幕】版本
[video(video-yvS5UUW5-1652090248558)(type-bilibili)(url-https://player.bilibili.com/player.html?aid=376755412&page=10)(image-https://img-blog.csdnimg.cn/img_convert/d9e7d2d45769efda2364e8bc1a4f9544.png)(title-【双语字幕+资料下载】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲))]
9.参考资料
本讲带学的在线阅翻页本
《斯坦福CS224n深度学习与自然语言处理》课程学习指南
《斯坦福CS224n深度学习与自然语言处理》课程大作业解析
【双语字幕视频】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲)
Stanford官网 | CS224n: Natural Language Processing with Deep Learning
ShowMeAI系列教程推荐
大厂技术实现 | 推荐与广告计算解决方案
大厂技术实现 | 计算机视觉解决方案
大厂技术实现 | 自然语言处理行业解决方案
图解Python编程：从入门到精通系列教程
图解数据分析：从入门到精通系列教程
图解AI数学基础：从入门到精通系列教程
图解大数据技术：从入门到精通系列教程
图解机器学习算法：从入门到精通系列教程
机器学习实战：手把手教你玩转机器学习系列
深度学习教程 | 吴恩达专项课程 · 全套笔记解读
自然语言处理教程 | 斯坦福CS224n课程 · 课程带学与全套笔记解读
NLP系列教程文章
NLP教程(1)- 词向量、SVD分解与Word2vec
NLP教程(2)- GloVe及词向量的训练与评估
NLP教程(3)- 神经网络与反向传播
NLP教程(4)- 句法分析与依存解析
NLP教程(5)- 语言模型、RNN、GRU与LSTM
NLP教程(6)- 神经机器翻译、seq2seq与注意力机制
NLP教程(7)- 问答系统
NLP教程(8)- NLP中的卷积神经网络
NLP教程(9)- 句法分析与树形递归神经网络
斯坦福 CS224n 课程带学详解
斯坦福NLP课程 | 第1讲 - NLP介绍与词向量初步
斯坦福NLP课程 | 第2讲 - 词向量进阶
斯坦福NLP课程 | 第3讲 - 神经网络知识回顾
斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图
斯坦福NLP课程 | 第5讲 - 句法分析与依存解析
斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型
斯坦福NLP课程 | 第7讲 - 梯度消失问题与RNN变种
斯坦福NLP课程 | 第8讲 - 机器翻译、seq2seq与注意力机制
斯坦福NLP课程 | 第9讲 - cs224n课程大项目实用技巧与经验
斯坦福NLP课程 | 第10讲 - NLP中的问答系统
斯坦福NLP课程 | 第11讲 - NLP中的卷积神经网络
斯坦福NLP课程 | 第12讲 - 子词模型
斯坦福NLP课程 | 第13讲 - 基于上下文的表征与NLP预训练模型
斯坦福NLP课程 | 第14讲 - Transformers自注意力与生成模型
斯坦福NLP课程 | 第15讲 - NLP文本生成任务
斯坦福NLP课程 | 第16讲 - 指代消解问题与神经网络方法
斯坦福NLP课程 | 第17讲 - 多任务学习(以问答系统为例)
斯坦福NLP课程 | 第18讲 - 句法分析与树形递归神经网络
斯坦福NLP课程 | 第19讲 - AI安全偏见与公平
斯坦福NLP课程 | 第20讲 - NLP与深度学习的未来
原文：https://juejin.cn/post/7096665349726634021