斯坦福大学EMNLP2019论文:回答大规模开放领域复杂问题

摘要:北京时间20191108关于【斯坦福大学EMNLP2019论文:回答大规模开放领域复杂问题】的具体情况和说明,让www.hncxjs.cn新闻频道的以图文形式为您慢慢道来。

雷锋网 AI 科技评论按:斯坦福大学 Christopher D. Manning 组的论文《Answering Complex Open-domain Questions Through Iterative Query Generation》(通过迭代生成查询语句回答复杂开放领域问题)近期被 EMNLP-IJCNLP 2019 接收,论文第一作者 Peng Qi 为这个任务以及这篇论文撰写了一篇深入浅出的解读文章。雷锋网 AI 科技评论全文翻译如下。

本文主题:NLP 研究大家庭已经在开放领域问答中取得了很大进步,而这篇论文中提出的系统继续在「基于海量文本回答复杂问题」的情境下带来了改进。作者们展示了一种高效、可解释的方法,能在系统中进行多步推理。

从搜索引擎,一直到自动问答系统,自然语言处理(NLP)系统的发展已经极大地增强了我们获取文本信息的能力,帮我们节省了很多用来记忆和查找的时间精力。今天,每当我们脑海中涌现出问题的时候,我们的第一反应都是去搜索引擎(谷歌、百度、必应)上搜索一下。

有的问题比较简单,比如「中国面积最大省是什么省」,也有一些问题就不那么直白了,比如「第一个发现可以用 GPS 探测地震波的人是谁」,各家搜索引擎都很难直接给出这个问题的答案。这种时候我们需要借助网络上的电子百科全书,比如 Wikipedia,然后就可以看到第一个发现可以用 GPS 探测地震波的人是 美国科学家 Kristine Larson 博士。

如果能让 NLP 系统直接给出这个答案,而不需要我们去知识库中翻文章寻找答案,这个问题就叫做开放领域问答(open-domain QA),这也是 NLP 科研的一个热点任务。

开放领域问答的背景

在开始介绍开放领域问答的新方法之前,我们先花一点时间了解一下这个问题的环境设置、挑战,以及为什么现有的系统在回答复杂问题的时候不那么让人满意。

开放领域 vs 封闭领域/内容限定

NLP 研究人员们设计的早期的问答系统,比如 BASEBALL 和 LUNAR,都是高度领域限定的。这两个系统分别可以回答美国在某年的棒球运动员的信息,或者返回地球的登月飞船的信息,但是对所有其它领域的信息都无能为力,因为超出了设计的领域范围。也就是说,这两个系统是封闭领域的。

从此之后,研究人员们开始向开放领域问答的方向进攻。对于开放领域问答,所提出的问题并不局限于预定义好的领域和领域知识。在理想情况下,问答系统要有能力在很大规模的各个领域的文本中进行探索筛选,找到我们所需的答案。

单篇文档开放领域问答,有时候也被称为「阅读理解」,NLP 研究人员们这几年来在这个问题上做出了显著突破。这个问题指,给 NLP 系统指定单篇文档,或者只是一段文字,其中可能含有问题的答案,然后让系统根据这些文本回答问题。这就是以 SQuAD 为代表的许多流行的 NLP 问答数据集的基本格式。在 SQuAD 数据集上训练出的问答系统可以在描述各种不同领域的知识的文本上工作。不过这样的问答系统需要我们首先找到可能含有答案的那篇文档(那段文字),这也就带来了一些限制。

为了解决这个问题,研究人员们开始研究能在大量文本上工作的问答系统。相比于 SQuAD 代表的「从含有答案的一段文本里找到答案」,在大量文本上工作的系统需要在一批文档中进行筛选,最终找到答案;这和我们使用搜索引擎有类似之处。这种任务设置就被成为开放内容开放领域问答(open-context open-domain QA),就比阅读理解有挑战得多。当然了,当你想到了一个问题,却不知道要从哪里寻找答案的时候,开放领域问答也就比阅读理解有用得多。在内容限定的问答之外的新挑战主要在于如何用可拓展的方法把大量文本缩小到一个能够处理的范围,这样我们就可以用现有的阅读理解模型找到那个答案。

开放领域问答系统

受到文本检索会议(TREC)上的系列问答竞赛启发,近几年来研究人员们开始场尝试把具有很大潜力的基于神经网络的问答模型用在开放领域问答任务中。

普林斯顿大学陈丹琦团队首先把传统的搜索引擎和现代的神经问答系统相结合来处理这个问题。他们的开放领域问答方案名为 DrQA(https://arxiv.org/abs/1704.00051),简单但效果出色:给定一个问题,系统会根据问题在文档库中搜索可能包含答案的文档,然后,经过筛选之后数量变少的文档会作为阅读理解系统的输入,由阅读理解系统生成最终的回答。

陈丹琦团队的 DrQA 模型示意图,这篇论文被 ACL 2017 接收

开放领域问答中大多数的近期研究都依然遵循了这种「检索+阅读理解」两步走的方案,然后会添加一些重新排序、基于神经网络的检索、更好的混合训练等等特性作为改进。

复杂开放领域问题带来的挑战

但其实,所有「检索+阅读理解」两步走的方案都没法很好地处理复杂问题。下面我们通过一个例子来说明这是怎么回事。

假设有一天你突然好奇演《海王》的那个演员还拍了什么电影,但你一下子想不起他的名字了。这时候我们会首先去搜索引擎搜索「海王」或者「海王男主角」,先确认这个人是谁。一般来说在开头的几个搜索结果里我们就能找到他的名字是「Jason Momoa」,然后再搜索这个名字就能找到他还拍了什么电影。

在这个简单的例子里,回答问题所需的关键信息并不都是可以直接从问题里读出来的,也就是说,这其实还是一个知识发现问题。所以这个问题对目前的「检索+阅读理解」模式的开放领域问答系统来说就很难处理,因为答案和问题之间有一些重要的语义信息并不重合。

针对这种问题,一种解决办法是联合训练基于神经网络的信息检索模型和阅读理解模型,让它们能够对查询语句做一些更新,从而找到更多的信息来回答问题。虽然这种方式确实也是有机会带来改进的,但用这样的远距离监督信号做信息检索模型的预训练、让它找到可能含有答案的文档还是很有可能失败,因为问题和我们想要找到的文档之间的语义重合部分还是太少了。从问题直接到答案的端对端训练也消耗资源太多以至于不可行,因为在第一步推理之前就进行查询的话,需要面对巨大的查询空间,即便我们能训练出一个执行这项任务的模型,这个模型也很可能只有极低的计算效率,而且可解释性很差。

所以,我们是否有可能设计一种新的开放领域问答系统,让它既能够处理复杂的多步推理问题,而且还计算高效、可解释呢?斯坦福大学 Christopher D. Manning 组的论文《Answering Complex Open-domain Questions Through Iterative Query Generation》(通过迭代生成查询语句回答复杂开放领域问题,https://nlp.stanford.edu/pubs/qi2019answering.pdf)中就提出了这样一个系统。这篇论文的第一作者就是这篇介绍博客的作者 Peng Qi,论文也已经被 EMNLP-IJCNLP 2019 接收,并在 11 月 6 日进行了口头报告。

回答复杂的开放领域问题

要介绍论文中的这个系统,叙述要分为两个部分,首先介绍针对开放领域问答的多步推理问题的总体策略,然后介绍用来评价这个系统的数据集和实验结果。

总体策略

正如上文所说,「检索+阅读理解」模式的系统没法高效地处理复杂需要多步推理的开放领域问题,原因有:1,这些问题需要有多个支撑线索才能回答,2,只根据原来那个问题通常都很难找到所有必须的支撑线索。一个理想的系统应当能够迭代进行「阅读理解找到的信息」以及「寻找更多的支撑线索」这两件事,就像人类一样。

这也就是论文标题中的「iterative query generation」部分的含义,论文中提出的这个开放领域问答系统能够迭代地根据目前检索到的文本内容生成自然语言问题,以及在最终回答问题之前搜索更多的必需信息。这样的设计的好处有:1,可以用不同的问题检索多个不同的支撑线索;2,生成新问题的过程可以借助更早的检索中找到的文档,这样就可以生成无法单独根据最早的问题生成的问题。由于这个系统可以生成自然语言的查询问题,那么它还可以直接在信息检索的步骤中使用现有的信息检索系统,进行高效的检索。除此之外,这个模型的运行方式对人类来说也有更好的可解释性,能够让人类随时进行干预,矫正运行中发生的问题。

比如,如果把英文维基百科作为知识库的话,向系统提问「《Armada》的作者的哪部小说会被 Steven Spielberg 改编为电影」,它的解答过程是这样的:

模型会首先生成一个查询问题,在维基百科中搜索关于小说《Armada》的信息。在「阅读理解」了检索到的文档之后,它会开始尝试寻找 Ernest Cline (这部小说的作者)的更多信息。最后,当系统找到了回答这个问题所需的全部文档之后,它就会把这些检索步骤中找到的排名靠前的文档级联起来,然后把它们输入一个内容限定的问答系统来预测最终的答案。

这种方法的主要挑战在于如何训练一个易于与其它组件合作的查询问题生成器,能借助它生成的问题语句检索到所有所需的信息。这篇论文的主要贡献也就是一种高效地训练查询问题生成器的方法,对于要检索到哪些文档只需要很少的监督信号,而且能在回答复杂的开放领域问题时发挥出优秀的表现。作者们的方法基于一个重要的观察:如果一个问题能根据语料回答,那么其中就会存在一个可以追踪的过程链条(或者图)。换句话说,作者们提出,在寻找支撑线索的过程中的任意时刻,都需要在「已知的」(问题文本、已经找到的线索)和「要找的」(其余的支撑线索)之间存在强语义重叠。

找到回答复杂问题所需的许多支撑线索就好像要在草堆里找到很多根针。因为难,所以不要一个一个地找它们,要找到穿在这些针之间的线,也就是「已知的」和「要找的」之间的强语义重叠。

在一开始,系统问的问题都是关于「已知的」,然后需要找到能组成推理链、回答这些问题的「要找的」文档。根据作者们的观察,至少能找到一篇文档可以和问题之间有强的语义重叠,所以这里的目标就是至少找到一篇这样的可以帮助拓展推理链的文档。在前面的《Armada》的例子里,这篇文档起到帮助作用的文档就可以是《Armada》小说的维基百科页面,其中的语义重叠就是「Armada」这个名字,以及「这是一本小说」。用基于文字的信息检索系统并不难找到这样的文档,只需要确定一个重叠的词句然后搜索它就可以。

在一步信息检索过后,很有可能系统就在许许多多文档里找到了关于《Armada》小说的这个维基百科页面。到了这里,根据「已知的」(「Armada」这个名字和《Armada》小说的维基百科页面)和「要找的」(「Ernest Cline」)之间的语义重叠就可以生成新的查询问题。要找到语义重叠并不难,只需要在「已知的」和「要找的」之间进行最长相同子序列查找就可以。

首先找到推理中的每一步所需的查询问题,然后就可以训练模型来根据每一步中的问题+已经检索到的文档生成新的问题。这样训练出的查询问题生成器就可以用在多步骤的开放领域推理中。这里的查询问题生成任务可以看作是一个内容限定的问答问题,它的本质就是把给定的问题和给定的文档(在上一个步骤中检索到的文档)映射到能根据文档导出的一段文本内容,所以和问答(阅读理解)非常相似。

论文作者们把整个系统称为 GoldEn Retriever,意为「黄金实体检索器」,一方面因为模型检索到的维基百科页面大多数都是关于实体的,同时这也是一个用于检索的模型的很有趣的名字(在英文语境中)。下面的表格中列出了一些样例问题以及用来训练查询问题生成器的不同步骤的查询问题。


查看更多

实时推荐

今夏流行马鞍包,杨采钰用它搭配套装,王俊凯却配卫衣,真百搭
推荐 2020-05-26 07:14 931 7400
美国提前至26日执行“巴西旅行禁令”
推荐 2020-05-26 07:14 676 9443
建“双师型”教师队伍 吸引更多“能工巧匠”
推荐 2020-05-26 07:14 293 3615
全球新冠肺炎确诊病例超547万,世卫组织暂停羟氯喹治疗试验测试,称疫情可能迎来第二波高峰
推荐 2020-05-26 07:14 597 6616
昔日穷山村 如今“绿富美”茶坡芹菜致富路越走越宽
推荐 2020-05-26 07:14 940 6728
范丞丞首次出演电视剧,搭档《偶像练习生》导师,太巧了吧
推荐 2020-05-26 07:14 522 3908
法律护航村庄规划,全力促进乡村振兴
推荐 2020-05-26 07:14 343 2917
又一位训练时受伤的球员!伊布受伤严重,可能直接退役
推荐 2020-05-26 07:13 440 3604
从网红到歌手,和张韶涵牵手,邓紫棋同台,主播转型的人生太精彩
推荐 2020-05-26 07:13 264 7728
兰劲开展“四上”企业大走访活动
推荐 2020-05-26 07:13 272 2320
听说科目一这10道题错误率超高,你敢挑战吗?
推荐 2020-05-26 07:13 597 2412
开原地下商城附近地面出现塌陷情况,一丰田轿车车头被卡住
推荐 2020-05-26 07:13 806 9242
哪些星座一旦决定就很难改变,天蝎男控制欲强,处女男心思缜密
推荐 2020-05-26 07:13 295 1297
超模身份出道的她,真有气场,小编确实很喜欢她,必须为她点赞
推荐 2020-05-26 07:13 235 1455
杨超越是腿精本精吧,五分裤竟穿出短裤既视感,腿长就是不一样
推荐 2020-05-26 07:13 765 4849
静海区:火红的西红柿让百姓的日子更红火
推荐 2020-05-26 07:13 309 2146
2019年广东省主要机场详细数据及吞吐量出炉
推荐 2020-05-26 07:13 645 1412
星画面x高露 从容是人生的基调
推荐 2020-05-26 07:13 159 1218
成功的戚风蛋糕!
推荐 2020-05-26 07:13 581 6917
全国人大代表王怀军:建议新进乡村教师在县级以上学校跟班学习一年
推荐 2020-05-26 07:13 644 7305
同穿极简风,大女人和小女人有什么区别?看这2位日本博主就知道
推荐 2020-05-26 07:13 868 2000
哪个女生衣柜里没件白T?关键看怎么搭
推荐 2020-05-26 07:13 132 4846
汝南:干群齐上阵,麦收正当时
推荐 2020-05-26 07:13 877 1694
渭南高新区全方位守护复学复课
推荐 2020-05-26 07:13 459 7479
“爱心献血”哪家强,永丰蜀黍来担当,“笑傲”血站比个V
推荐 2020-05-26 07:13 992 7968
周星驰御用配角,拍戏吊威亚70天,票房3个亿,只给他1万5酬劳
推荐 2020-05-26 07:13 487 1801
惠民县姜楼镇召开党委理论中心组集中学习会议
推荐 2020-05-26 07:13 184 3458
彩灯追逐张子枫时,彭昱畅突然这个举动,怕是忘记有镜头了...
推荐 2020-05-26 07:13 547 8961
捍卫公平正义 守护美好生活
推荐 2020-05-26 07:13 514 1245
乌兰木伦河道开挖,是要修啥?官方回应来了
推荐 2020-05-26 07:13 858 7659
接下来一个月,大盘下跌的可能性非常小
推荐 2020-05-26 07:12 301 2466
五菱又出新动作,五菱MINI EV 会不会火
推荐 2020-05-26 07:12 346 2377
请设计师装修的新房,很漂亮,床头打柜子很实用,一进屋就被迷住
推荐 2020-05-26 07:12 354 8592
肃宁一村民院内种罂粟被依法拘留
推荐 2020-05-26 07:12 469 3507
年迈老人迷路 民警暖心救助
推荐 2020-05-26 07:12 390 7742
盘点!山东8市初高中非毕业年级学生已复学复课
推荐 2020-05-26 07:12 776 7896
《三国演义细节解密》之一百一十八:陈宫“反复无常”背后的秘密
推荐 2020-05-26 07:12 148 1988
B超产检时,医生会说"暗语"暗示宝宝性别,孕妈听懂了吗?
推荐 2020-05-26 07:12 643 1203
迭迭青山,悠悠古韵:龙岗山瑶溪环线行,风景如画
推荐 2020-05-26 07:12 115 5621
汤唯真会穿!牛仔外套搭配薄纱拼接半身裙休闲个性,气质感惊艳
推荐 2020-05-26 07:12 257 7999
玩这些Steam游戏不伤钱,《方舟生存进化》开局一双手,生存全靠肝
推荐 2020-05-26 07:12 423 4914
为啥关晓彤录视频总藏着右手?当看到手腕“红印”,瞬间明白了
推荐 2020-05-26 07:12 914 6208
防范知识产权侵权犯罪,闵行发布涉企犯罪及检察建议分类指引白皮书
推荐 2020-05-26 07:12 994 4042
德云社演员台上怼观众:听不了出去郭德纲:你先下去
推荐 2020-05-26 07:12 268 6816
偶遇娜扎,生图超能打,普通人拍照用这款手机让你自然更美
推荐 2020-05-26 07:12 963 1281
鹿晗又双叒叕要拍新剧了,还有重磅影帝撑场,这次评分会破3吗?
推荐 2020-05-26 07:12 128 8008
杨紫、赵丽颖和欧阳娜娜你最喜欢哪一个,你们会如何选择
推荐 2020-05-26 07:12 156 1067
他是“不务正业”的导演,也是演技精湛的老戏骨,他就是王永泉
推荐 2020-05-26 07:12 721 1246
李念:一个外表纯美性格温柔的85后女星
推荐 2020-05-26 07:12 317 5303
吴亦凡说张艺兴心机重 颜王开始不理张艺兴?
推荐 2020-05-26 07:12 959 8026
青你2合作舞台,惊喜不断,每一场都好看
推荐 2020-05-26 07:12 893 4403
网友最百看不腻的4位女演员,颜值与演技共存,还有很好的观众缘
推荐 2020-05-26 07:12 806 8515
今天试做了个香酥鸡配方略微调整了还不错免费分享收藏转发
推荐 2020-05-26 07:12 696 9547
剧里的她是蛇蝎美人,却因演技太好一直火不起来
推荐 2020-05-26 07:12 227 5089
常德交警柳叶湖大队:午间突击检查 治理超载“顽疾”
推荐 2020-05-26 07:12 854 4106
智利新增4895例确诊病例 创单日新增病例数新高
推荐 2020-05-26 07:12 574 3534
巴克利:NBA 百分百会复赛,但还有一些细节问题要解决
推荐 2020-05-26 07:12 631 6385
世界预防中风日|陕西省人民医院神经脑科病院副院长杨谦谈卒中7大危险因素
推荐 2020-05-26 07:12 845 4646
“两会”进行时 | 江门市多部门联合开展消防安全“夜查”行动
推荐 2020-05-26 07:12 758 3388
四川省“心中最美护士”评选结果揭晓!快来看看有你认识的吗?
推荐 2020-05-26 07:12 692 6333
傲跑、缤智怎么选?看完心里有底了
推荐 2020-05-26 07:12 647 9376
来自广西的5位女星,王鸥上榜,你最喜欢谁?
推荐 2020-05-26 07:11 287 3591
国家一毛不拔不给钱,女子练"送命"运动破产,患脑震荡肝损伤,网友狂骂
推荐 2020-05-26 07:11 304 9808
因《亮剑》而红的两个配角,如今段鹏与和尚的事业反差巨大
推荐 2020-05-26 07:11 483 568
唐河县源潭镇:科技特派员深入田间地头传授技术
推荐 2020-05-26 07:11 753 6837
华晨宇能力?苗苗怀孕?罗云熙资源?谢娜人脉?
推荐 2020-05-26 07:11 823 9029
《向往4》:黄晓明加盟,蘑菇屋受到暴风雨和冰雹重创,狼藉一片
推荐 2020-05-26 07:11 991 9531
阿尔伯塔省出土霸王龙头骨,生物学家发现,霸王龙脑袋左右不对称
推荐 2020-05-26 07:11 337 5124
蔡徐坤的家简单,马天宇粗糙的房间,看到王一博的家:是你
推荐 2020-05-26 07:11 818 7555
招聘300人!辽宁第十二届女大学生网络招聘会,“直播”助力就业
推荐 2020-05-26 07:11 531 9941
周末好休闲
推荐 2020-05-26 07:11 914 7901
《极限挑战》集体"爆发",邓伦却被"小心机"出卖
推荐 2020-05-26 07:11 956 6513
160㎡三居室,四口之家,简约中寻找优雅
推荐 2020-05-26 07:11 614 9150
梦幻西游三维版生辰之礼逸闻攻略 讨好孟婆小姐姐好难
推荐 2020-05-26 07:11 464 6966
王俊凯被何炅调侃年龄小,他的回答亮了,瞬间暴露真情商
推荐 2020-05-26 07:11 264 5527
西峡县召开双河托养中心现场会
推荐 2020-05-26 07:11 723 9722
贵州省全国人大代表@你!他们提出的建议里,有你的“心声”吗?
推荐 2020-05-26 07:11 553 4079
刘诗诗强势打破格局,风头太过,引发杨幂与赵丽颖联合打压
推荐 2020-05-26 07:11 230 7855
盘点那些年全是美女的电视剧
推荐 2020-05-26 07:11 719 7828
多位全国人大代表联名建议:支持武汉加速建设国家存储器基地
推荐 2020-05-26 07:11 216 1759
多位全国政协委员联名提案:支持武汉筹建第四代同步辐射光源
推荐 2020-05-26 07:11 877 2931
全国人大代表张文喜做客云端会客厅,创新乡村振兴模式让产业更旺
推荐 2020-05-26 07:11 298 5048
全国人大代表联名建议:支持建设中法武汉生态示范城
推荐 2020-05-26 07:11 778 3469
原创 疫情结束后会有更多人选择做教师吗?老师含泪诉说
推荐 2020-05-26 07:11 819 999
古力娜扎休息几个月胖了一圈,比男主角许魏洲都要显胖
推荐 2020-05-26 07:11 912 3717
法制建设护航资本市场全面深改
推荐 2020-05-26 07:11 843 9983
饭店里皮蛋豆腐为啥那么好吃?原来多加了这一步,怪不得嫩滑爽口
推荐 2020-05-26 07:11 266 9116
向往的生活好心助农,却忽略了收视率,砸了四季以来的口碑
推荐 2020-05-26 07:11 245 8278
信达生物-B(01801):抗TIGIT单克隆抗体1期临床研究在中国完成首例患者给药
推荐 2020-05-26 07:11 868 2707
豆花做成汤品,不仅做法简单,口味和口感都一级棒,全家都喜欢
推荐 2020-05-26 07:11 131 5453
哈格里夫斯:维尔纳去红军当替补太屈才,他应去曼联或蓝军
推荐 2020-05-26 07:11 414 8177
球员工会与球员进行电话会议,介绍在奥兰多复赛的形式
推荐 2020-05-26 07:11 593 909
纳格尔斯曼:奥尔莫技术出色,防守端也非常努力
推荐 2020-05-26 07:11 578 6644
排骨的绝妙搭配,熬一熬汤汁浓郁又爽滑,喝完一碗全身舒坦
推荐 2020-05-26 07:11 893 8956
教你熏鱼做法步骤,飘香开胃酥脆,一上桌连骨头都剩
推荐 2020-05-26 07:11 330 6106
麒麟区水产养殖打好“特色牌”
推荐 2020-05-26 07:11 196 4092
老师傅街边卖“烧烤”,小鱼插着竹签围一圈,好吃还好玩
推荐 2020-05-26 07:11 623 4093
贫困户变身扶贫人
推荐 2020-05-26 07:11 672 1846
在苏州,早饭别纠结吃啥,苏州人吃它是认真的,百般味道,我服了
推荐 2020-05-26 07:11 925 6207
医保惠民减轻群众医药负担
推荐 2020-05-26 07:11 667 5683