关于我们

云从科技是一家专注于计算机视觉与人工智能的高科技企业,核心技术源于四院院士、
计算机视觉之父——Thomas S. Huang黄煦涛教授。

机器阅读理解首次超越人类!云从刷新自然语言处理新纪录

2019-03-11 10:06 浏览:161

近日,云从科技上海交通大学在自然语言处理领域取得重大突破,在卡内基-梅隆大学发起的大型深层阅读理解任务数据集RACE数据集上登顶第一,并成为世界首个超过人类排名的模型。

云从科技与上海交通大学首创了一种阅读信息匹配机制——DCMN模型,使机器的正确率达到72.1%,较之前最好结果(67.9%)提高了4.2个百分点,并在高中测试题部分首次超越人类69.4%的成绩

有种题型叫“阅读理解”

不管是中文、英语还是任意其他语言,阅读理解都算得上是最难的题型之一,需要信息收集、知识储备、逻辑推理、甚至还要融会贯通的主观作答。

微软创始人比尔·盖茨曾经表示,“语言理解是人工智能领域皇冠上的明珠”。

机器阅读理解,是指机器通过阅读和理解大量文字,有效整理和总结出人类所需要的信息。

按照人工智能技术发展路径,在机器视觉、语音识别等智能感知技术在性能上趋于饱和之后,下一个人工智能的突破就是自然语言处理等认知决策技术。技术上形成从智能感知到认知决策的闭环,在机器上体现为会理解、会思考、会分析决策,人机交互方式更加便捷,将对各行各业将产生颠覆式创新

例如为证券投资提供各种分析数据,进行金融风险分析、欺诈识别;在社交软件、搜索引擎辅助文字审阅和信息查找;还可以帮助医生检索和分析医学资料、辅助诊断等等。

RACE数据集

RACE数据集(ReAding Comprehension dataset collected from English Examinations)是一个来源于中学考试题目的大规模阅读理解数据集,包含了大约28000个文章以及近100000个问题。

它的形式类似于英语考试中的阅读理解(选择题),给定一篇文章,通过阅读并理解文章(Passage),针对提出的问题(Question)从选项中选择正确的答案(Answers)

RACE数据集的难点在于,该题型的正确答案并不一定直接体现在文章中,只能从语义层面深入理解文章,通过分析文中线索并基于上下文推理,选出正确答案

相对以往的抽取类阅读理解,算法要求更高,被认为是“深度阅读理解”

DCMN模型

针对这种“深度阅读理解”,云从科技与上海交通大学首创了一种P、Q、与A之间的匹配机制,称为Dual Co-Matching Network(简称DCMN),并基于这种机制探索性的研究了P、Q、与A的各种组合下的匹配策略

01 DCMN匹配机制

以P与Q之间的匹配为例:

本图为P与Q之间的DCMN匹配框架

云从科技和上海交大使用目前NLP最新的研究成果BERT分别为P和Q中的每一个Token进行编码。基于BERT的编码,可以得到的编码是一个包含了P和Q中各自上下文信息的编码,而不是一个固定的静态编码,如上图中Hp与Hq;

其次,通过Attention的方式,实现P和Q的匹配。具体来讲,是构建P中的每一个Token在Q中的Attendances,即Question-Aware的Passage,如上图中Mp。这样得到的每一个P的Token编码,包含了与Question的匹配信息;

为了充分利用BERT带来的上下文信息,以及P与Q匹配后的信息,将P中每个Token的BERT编码Hp,与P中每个Token与Q匹配后的编码Mp进行融合, 对Hp和Mp进行了元素减法及乘法操作,通过一个激活函数,得到了P与Q的最终融合表示,图中表示为Spq;

最后通过maxpooling操作得到Cpq,l维向量,用于最后的loss计算。

02 各种匹配策略研究

除了P与Q之间的匹配之外,还可以有Q与A、P与A之间的匹配,以及不同匹配得到的匹配向量间的组合,这些不同的匹配与组合构成了不同的匹配策略。对七种不同的匹配策略分别进行了试验,以找到更加合适的匹配策略,分别是:

[P_Q; P_A; Q_A], [P_Q; P_A], [P_Q; Q_A], [P_A; Q_A], [PQ_A], [P_QA], [PA_Q]

“PA”表示先将P和A连接为一个序列,再参与匹配,“PQ”与“QA”同理。符号“[ ; ]”表示将多种匹配的结果组合在一起。

[P_Q; P_A; Q_A]模式下的模型架构

7种不同策略经试验后,得出采用PQ_A的匹配策略,即先将P与Q连接,然后与A匹配,无论是在初中题目(RACE-M)、高中题目(RACE-H)还是整体(RACE),都得到了更优的结果。

虽然目前机器在一些阅读理解数据集上的水平已经超过了人类,但这并不能表明“机器打败了人类”,对于自然语言处理、对于人工智能,我们仍有一大步需要前进。

联系方式
商务合作:Business@cloudwalk.cn
媒体沟通:Media@cloudwalk.cn
地址:
北京 上海 广州 成都 西安 重庆 新疆 天津

全国联系热线

400-151-5992

周一到周五9:30-18:00(北京时间)