网易首页 > 新闻中心 > 新闻 > 正文

百度摘得全球自然语言处理竞赛桂冠 飞桨加持提升研发效率

0
分享至

人工智能自然语言处理领域的开放域问答技术在智能搜索、智能助手、智能客服等多个场景下,都发挥着重要作用。特别是近些年,随着各种智能手机、智能音箱的普及,智能搜索快速进化,可以帮助用户在这些小屏和无屏设备上更快速、准确的获取有用信息。

近日,百度提出RocketQA,一种面向端到端问答的检索模型训练方法,助力机器问答理解技术迈出突破一步,推动了智能问答领域技术发展。该方法不仅在多个问答相关数据集中取得了当前最佳结果,同时也超越谷歌、微软、脸书、阿里、美团、卡内基梅隆大学、清华大学等企业和高校,问鼎微软MSMARCO数据集段落排序任务榜首。

image.png

(微软MSMARCO数据集排行榜截图)

据了解,微软MSMARCO数据集是微软提出的大规模的面向问答的数据集,不仅规模大,而且贴近真实场景,包含约100万问题、880万相关段落以及人工标注的问题答案。RocketQA在其中的脱颖而出,正显示了百度在模型检索能力方面的领先实力。

百度RocketQA训练方法是一种对偶式检索模型增强训练方法,并基于百度自研的语义理解技术与平台文心(ERNIE)进行训练,大幅提升了对偶式检索模型的效果。所谓对偶式检索模型,是一种区别于传统的检索模型的基于深度语义表示的模型,能够利用强大的网络结构进行更深层次的学习,同时基于预训练语言模型,使语义理解更加丰富。然而在检索问答场景上,该模型的表现仍有欠缺,其训练仍然存在着,诸如训练场景和预测场景中样本数量差异较大、数据集中存在大量漏标注的正确答案、人工标注训练数据相对规模小成本大等问题和挑战。

针对对偶式检索模型训练中存在的问题和挑战,百度RocketQA通过跨批次负采样(cross-batch negatives)、去噪的强负例采样(denoised hard negative sampling)与数据增强(data augmentation)等3项技术,解决了上述问题和挑战,从而使得对偶式检索模型效果大幅提升。在实现RocketQA的过程中,这3项技术处于层层递进的关系,最终合成一套。同时,实现过程中还使用了百度文心(ERNIE)初始化模型参数。

实验结果也显示,RocketQA在微软MSMARCO和谷歌Natural Question数据集的效果均大幅超过了已经发表的最好的检索模型。同时在答案抽取任务上,百度RocketQA检索结果的有效性也得以验证。

image.png

(RocketQA在微软MSMARCO和谷歌Natural Questions数据集上段落检索的效果)

此外,百度RocketQA的提出,更代表着向实现“端到端问答”迈出的重要一步。不同于传统的级联式问答系统,“端到端问答”摒弃了传统系统中繁杂的构件,系统复杂性大大降低,并且其中每个模块(段落检索和答案定位)都是可学习的,这样的设计能够让整个系统实现端到端训练。从而能够基于用户实时的反馈实现在线训练,而不是只在封闭的数据集上闭门造车。正是基于上述优异性,端对端回答成为智能问答技术的发展趋势,甚至可能会引发问答系统的新一代技术变革。而百度RocketQA正是面向端对端回答方向,在优化解决对偶式检索模型训练中存在的,诸如训练、预测场景样本数量差异较大,人工标注规模小、成本高等问题之后,并取得MSMARCO榜首的好成绩,为“端对端回答”攻下一城。

实际上,在研发算法的过程中,高性能的并行训练也必不可少,它是研发人员快速尝试各种想法的利器。百度RocketQA的实现即完全基于飞桨深度学习框架。据相关资料显示,百度研究人员在使用飞桨分布式训练API(paddle.distributed.fleet)进行训练的同时,也采用了飞桨分布式训练扩展工具FleetX。前者是百度飞桨新API体系下的通用分布式训练API,其提供的经典数据并行训练方案能够大幅提升试验效率;后者是百度飞桨框架分布式训练扩展工具,提供数据分片并发下载、快速定义模型、快速提交集群任务等功能,能够实现了研发人员的使用效率的极大提升。

image.png

(百度飞桨全景图)

目前,RocketQA已逐步应用在百度搜索、广告等核心业务中,并将在更多场景中发挥作用。以百度搜索为例,可以感受一下问答技术在实际应用中对于用户体验的改变。比如,当我们在使用搜索引擎查询问题时,总是期望能第一时间得到更精准的回应。如果说传统的搜索总是给出可能的十条链接作为回答,那么,基于问答技术,问答结果得以优化,答案界面正在发生这样的变化:唯一的精准答案被直接给出,信息的获取更快速准确。

111111111111111111111111111.png

(百度搜索的TOP1结果:将问题的答案展现在搜索结果的首位,提升用户体验)

正如上图所显示,当我们在百度搜索框输入诸如“佩奇是公猪还是母猪”的问题后,界面第一条即会已卡片形式直接给出“女生”的答案,第二条开始才是之前所熟悉的链接形式。这样一来,问与答之间的效率会大幅提升,用户能够第一时间得到自己想要的答案,从而提升用户使用体验。在有了RocketQA的大规模应用后,百度搜索的TOP1结果会更好。

相关推荐
热点推荐

FBI承认特斯拉是外星人?公开354页文件,揭秘特斯拉研究UFO...

超级数学建模
2021-03-05 09:56:11

拜登怒火中烧,骂出了这个词!

牛弹琴
2021-03-05 07:14:28

纪录片:珠峰上背尸体致富的男人,无论海拔多高,只要给钱他就背

五彩斑斓的世界
2021-03-05 08:28:17

美国:不要误判美国“保卫台湾”的决心!无知又无畏,吓唬中国?

国防时报看点
2021-03-04 21:33:24

斑马线上这一幕让网友怒了,广州冲断学生队伍司机被行拘5日!

楚天都市报极目新闻
2021-03-05 10:46:14

“巨婴”刘思琦:每天花销过万、吃饭要人喂,如今成为服装设计师

孤风婉史
2021-03-05 13:47:33

在祁发宝身边与外军交涉的那名翻译 是位在校大学生

北青网-北京青年报
2021-03-05 13:10:04

68岁奶奶离婚后穿漂亮裙子环游世界,原来她才是乘风破浪的姐姐

一个人的旅行一个人的地老天荒
2021-03-05 13:03:00

8级大地震袭击新西兰,海啸预警发出!全球已进入震动模式?

中国气象爱好者
2021-03-05 12:15:21

空姐“高空X交易”,真相曝光我三观碎了一地

嘉峪关公益网
2021-03-04 22:11:20

交通灯下的“司机百态”,别拿摄像头不当回事,小姐姐:没脸见人了!

汽车工程师
2021-03-05 09:10:58

“领导让我去量尺寸,我这样发给她,她让我明天不用来上班了...

天宝来搞笑
2021-03-04 21:39:46

他是流水线工人,也是数学天才:底层打工人靠天赋命运改变了吗?

阅读第一
2021-03-03 10:04:39

印度一名父亲砍下17岁女儿头颅拎着去自首 因不同意其男友

环球网资讯
2021-03-05 10:27:18

美国公布大数据下的中国女人,结果让人吃惊......

黑猩猩智库
2021-03-04 14:26:08

杭州10年半路夫妻,男子提出“一夫两妻”:我不想分手

梦鹿非梦露
2021-03-04 13:16:11

吴孟达遗体告别,8日举行,周星驰将被优先为吴孟达扶灵

八姐论八卦
2021-03-05 11:59:12

江宏杰无语了,日媒曝出福原爱约会最新细节:那个,有吗?圆圆的

尘语者
2021-03-05 13:00:10

视疫情为政治筹码 拉盟友搞反华圈子 美拟拿疫苗分发当对华武器

环球时报新闻
2021-03-05 09:00:46

中国最年轻顶级富豪惨遭毒杀!“绝命毒师”申请160个手机号,只为索命。

北国小甜瓜
2021-03-04 09:21:08
2021-03-05 14:45:06

头条要闻

在祁发宝身边与印军交涉的那名翻译 是位在校大学生

头条要闻

在祁发宝身边与印军交涉的那名翻译 是位在校大学生

体育要闻

攻陷安菲尔德!蓝军新帅挨个拥抱弟子

娱乐要闻

谭松韵晒海边照 嘟嘴卖萌元气满满

财经要闻

科技要闻

美参议院考虑拨款300亿美元提振芯片制造业

汽车要闻

车神·经之魅影:劳斯莱斯家族中的坏孩子?

态度原创

时尚
数码
教育
手机
公开课

出道4年2位顶流男友 这女人怎么那么厉害?

数码要闻

任天堂新Switch发布时间曝光:最快圣诞假期

教育要闻

多国规范中小学生在校使用手机

手机要闻

弃刘海!苹果正构建新iPhone感受下:最大短板解决

公开课

记者卧底精神病院,震惊发现正常人不在少数

×