Post Jobs

人造智能第叁次在深度阅读精晓超越人类,该模型在大型深度阅读了然职分中得到了领古代人类高级中学子的精确率

图片 7

阅读,机器,模型,人类,

机器阅读理解首次超越人类高中生 云从科技、上海交通大学联合发布NLP最新成果

继国际象棋、围棋、游戏等领域之后,人工智能首次在深度阅读理解超越人类。

中国科技网·科技日报重庆3月8日电继国际象棋、围棋、游戏等领域之后,人工智能首次在深度阅读理解超越人类。3月8日,中国人工智能“国家队”云从科技和上海交通大学联合宣布,双方基于原创算法提出的全新模型,在自然语言处理上取得一项重大突破:该模型在大型深度阅读理解任务中取得了超越人类高中生的准确率,成为世界首个机器阅读理解超过人类排名的nlp模型。目前,该成果已在arxiv网站预发布。

3月8日,中科院旗下人工智能创业企业云从科技和上海交通大学联合宣布,双方基于原创算法提出的全新模型,在自然语言处理上取得一项重大突破:该模型在大型深度阅读理解任务中取得了超越人类高中生的准确率,成为世界首个机器阅读理解超过人类排名的NLP模型。目前,该成果已在arXiv网站预发布。

2019年3月7日,中国人工智能“国家队”云从科技和上海交通大学联合宣布,在自然语言处理(NLP
Neuro-Linguistic
Programming)上取得重大突破,在大型深层阅读理解任务数据集RACE数据集(ReAding
Comprehension dataset collected from English
Examinations)登顶第一,并成为世界首个超过人类排名的模型。

研究人员在论文中称,云从科技与上海交通大学基于原创dcmn算法,提出了一种全新的模型,使机器阅读理解正确率提高了4.2%,并在高中测试题部分首次超越人类。机器正确率69.8%、普通人类69.4%。

研究人员在论文中称,云从科技与上海交通大学基于原创DCMN算法,提出了一种全新的模型,使机器阅读理解正确率提高了4.2%,并在高中测试题部分首次超越人类(机器正确率69.8%、普通人类69.4%)。

图片 1

该模型这一成绩是在大型深层阅读理解任务数据集race数据集上取得的。据了解,race是一个来源于中学考试题目的大规模阅读理解数据集,包含了大约2.8万篇文章以及近10万个问题。它的形式类似于英语考试中的阅读理解,给定一篇文章,通过阅读并理解文章,针对提出的问题从四个选项中选择正确的答案。而且,该题型的正确答案并不一定直接体现在文章中,只能从语义层面深入理解文章,通过分析文章中线索并基于上下文推理,选出正确答案。相对以往的抽取类阅读理解,算法要求更高,被认为是“深度阅读理解”。

该模型这一成绩是在大型深层阅读理解任务数据集RACE数据集上取得的。据了解,RACE是一个来源于中学考试题目的大规模阅读理解数据集,包含了大约2.8万篇文章以及近10万个问题。它的形式类似于英语考试中的阅读理解,给定一篇文章,通过阅读并理解文章,针对提出的问题从四个选项中选择正确的答案。而且,该题型的正确答案并不一定直接体现在文章中,只能从语义层面深入理解文章,通过分析文章中线索并基于上下文推理,选出正确答案。相对以往的抽取类阅读理解,算法要求更高,被认为是“深度阅读理解”。

有评论认为,这会是机器深层理解人类语言的开端。

云从科技创始人周曦表示,基于这一研究成果,在应用领域搭配文字识别ocr或语音识别技术后,nlp模型将会帮助机器更好地理解人类文字或语言,并广泛应用于服务领域,比如帮助企业判断客户风险、审计内部文档合规、从语义层面查找相关信息;在社交软件、推荐引擎软件内辅助文字审阅工作等,“从枯燥的人工文字工作中解放人类”。

云从科技创始人周曦表示,基于这一研究成果,在应用领域搭配文字识别OCR或语音识别技术后,NLP模型将会帮助机器更好地理解人类文字或语言,并广泛应用于服务领域,比如帮助企业判断客户风险、审计内部文档合规、从语义层面查找相关信息;在社交软件、推荐引擎软件内辅助文字审阅工作等,“从枯燥的人工文字工作中解放人类”。

论文中,云从科技与上海交通大学基于原创DCMN算法,提出了一种全新的模型,使机器阅读理解正确率提高了4.2个百分点,并在高中测试题部分首次超越人类(机器正确率69.8%、普通人类69.4%)。

加载更多>>

相关论文信息:

这一研究成果,在应用领域搭配文字识别OCR/语音识别技术后,NLP将会帮助机器更好地理解人类文字/语言,并广泛应用于服务领域:帮助企业判断客户风险、审计内部文档合规、从语义层面查找相关信息;在社交软件、推荐引擎软件内辅助文字审阅工作,从枯燥的人工文字工作中解放人类。

责任编辑:值班主任

突破语义理解瓶颈

此次云从科技和上海交通大学在自然语言处理领域的深度阅读理解上登顶RACE排行榜第一名。RACE是一个来源于中学考试题目的大规模阅读理解数据集,包含了大约28000个文章以及近100000个问题。它的形式类似于英语考试中的阅读理解,给定一篇文章,通过阅读并理解文章,针对提出的问题从四个选项中选择正确的答案。该题型的正确答案并不一定直接体现在文章中,只能从语义层面深入理解文章,通过分析文章中线索并基于上下文推理,选出正确答案。相对以往的抽取类阅读理解,算法要求更高,被认为是“深度阅读理解”。

图片 2

RACE数据集的难点在于:由于正确答案并没有直接使用文章中的话术来回答,不能直接从文中检索得到答案。必须从语义层面深入理解文章,才能准确回答问题。

解决方案

怎么让机器在庞大的题库文章中找到正确的答案?

云从科技与上海交通大学首创了一种P、Q、与A之间的匹配机制,称为Dual
Co-Matching
Network,并基于这种机制探索性的研究了P、Q、与A的各种组合下的匹配策略。

结果显示,采用PQ_A的匹配策略,即先将P与Q连接,然后与A匹配,策略都得到了更优的结果。

再将模型与其他已知的模型、以及纯粹基于BERT自身的模型进行了比较,得到如下的结果:

图片 3

从RACE leaderboard上结果比较可以得到以下结论:

论文缘起

这篇论文的作者,来自中国人工智能“国家队”云从科技与上海交通大学。

云从科技孵化于中国科学院,2017年3月,承担国家“人工智能”基础项目——“人工智能基础资源公共服务平台”建设任务。

2018年10月的国家“人工智能基础资源与公共服务平台”发布会上,云从科技创始人周曦提出了人工智能发展五个阶段,核心技术闭环是五个阶段的重要基础。

图片 4

从感知到认知决策的一系列技术组成了核心技术闭环:

目前,云从科技承担了国家发改委与工信部的人工智能基础平台、人工智能应用平台和人工智能的核心芯片平台项目,包含智能感知技术和认知决策技术为核心的技术闭环,并刷新多项世界纪录,保持自主核心技术国际领先。

图片 5

在这个基础上,云从科技正在致力整合算力、智力、数据等资源及其成果,打造人工智能开放平台与生态,进一步促进人工智能在金融、安防、交通、零售、商业等重要行业的落地与深度融合。

附:论文解读

以P与Q之间的匹配为例,说明DCMN的匹配机制。下图为P与Q之间的DCMN匹配框架。

图片 6

云从科技和上海交大使用目前NLP最新的研究成果BERT分别为P和Q中的每一个Token进行编码。基于BERT的编码,可以得到的编码是一个包含了P和Q中各自上下文信息的编码,而不是一个固定的静态编码,如上图中Hp与Hq;

其次,通过Attention的方式,实现P和Q的匹配。具体来讲,是构建P中的每一个Token在Q中的Attendances,即Question-Aware的Passage,如上图中Mp。这样得到的每一个P的Token编码,包含了与Question的匹配信息;

为了充分利用BERT带来的上下文信息,以及P与Q匹配后的信息,将P中每个Token的BERT编码Hp,与P中每个Token与Q匹配后的编码Mp进行融合,
对Hp和Mp进行了元素减法及乘法操作,通过一个激活函数,得到了P与Q的最终融合表示,图中表示为Spq;

最后通过maxpooling操作得到Cpq,l维向量,用于最后的loss计算。

人造智能第叁次在深度阅读精晓超越人类,该模型在大型深度阅读了然职分中得到了领古代人类高级中学子的精确率。除了P与A之间的匹配之外,还可以有Q与A、P与Q之间的匹配,以及不同匹配得到的匹配向量间的组合,这些不同的匹配与组合构成了不同的匹配策略。对七种不同的匹配策略分别进行了试验,以找到更加合适的匹配策略,分别是:

[P_Q; P_A; Q_A], [P_Q; P_A], [P_Q; Q_A], [P_A; Q_A],
[PQ_A], [P_QA], [PA_Q]

“PA”表示先将P和A连接为一个序列,再参与匹配,“PQ”与“QA”同理。符号“[ ;
]”表示将多种匹配的结果组合在一起。[P_Q; P_A;
Q_A]模式下的模型架构如下图:

图片 7

7种不同策略通过试验,采用PQ_A的匹配策略,即先将P与Q连接,然后与A匹配,无论是在初中题目、高中题目还是整体,该策略都得到了更优的结果。

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

网站地图xml地图