网易首页 > 新闻中心 > 新闻 > 正文

突破语言生成瓶颈,刷新5项最佳效果!百度发布新模型ERNIE-GEN

0
分享至

百度AI硬核技术实力再度爆发,刷新国际上语言生成任务SOTA(最优效果),目标直指AI领域最受关注的方向之一自然语言处理。

5月20日,百度Wave Summit 2020深度学习开发者峰会上,ERNIE重磅发布全新的语言生成预训练模型ERNIE-GEN,解决自然语言处理领域“生成”方向的难题,让机器不但能“理解”人类的意思,还能完成更高阶的“表达”。这项工作在4类语言生成任务,5项国际权威英文数据集上均取得SOTA。

此外,还被国际顶级AI学术会议IJCAI 2020收录,百度AI在国际舞台的领军实力再次展露无遗。

在自然语言处理领域中,语言理解(NLU)和语言生成(NLG)是两大核心任务。百度发布的ERNIE-GEN预训练模型指向语言生成(NLG),这听起来很晦涩,实际上并不陌生。回顾一些经典科幻电影,比如《终结者》、《黑客帝国》中描述的未来机器人,他们能够流畅地实现和人类对话,这就是一个自然语言生成系统。日常生活中,手机输入法的联想词、对答如流的智能音箱、问答机器人等,都是常见自然语言生成领域问题。

可见自然语言生成技术非常重要,针对性地进行预训练模型的研发,也成为这个领域重要玩家的共识。从2019年以来,Google、Facebook、微软等先后发布了多个针对自然语言生成的预训练模型,取得了一定进展。百度2019年3月推出预训练模型ERNIE,7月升级到ERNIE2.0,并迅速在12月登顶国际权威数据集GLUE,这意味着百度ERNIE已成为国际上首屈一指的预训练模型。今年3月,ERNIE又在全球规模最大的语义评测比赛 SemEval 2020斩获5项世界冠军。

之前,领域内的预训练模型主要关注于语言理解类任务,在生成任务上还处于探索阶段。如以BERT、ERNIE为代表的语言理解预训练模型在理解方面取得了许多重大突破,然而,对于序列到序列的自然语言生成任务,这些主流方法并未带来明显改进。早期如微软MASS和UniLM等工作在下游生成任务上取得了显著提升,但仍有问题亟待解决。

本次在ERNIE基础上推出的语言生成预训练模型ERNIE-GEN,正是针对之前工作中语言生成任务的核心难题,提出了多项创新方法,基于multi-flow机制,模型可以生成完整语义片段,显著提升了自然语言生成的任务效果。

ERNIE-GEN 首次将短语、实体的预测引入生成预训练中。这种机制借鉴了人类写作的构思过程,使模型具备了语义完备短语生成的能力,如直接生成“NewYork”(而非“New”和“York”)。此外,传统的自回归生成模型当前词的生成强依赖于上一个词,这种有偏的学习方式会在上文生成质量不佳时,导致后续的错误累积。ERNIE-GEN 提出Infilling生成机制并和噪声增强策略相结合有效缓解了这种生成过程中的错误累积。为了实现上述机制,ERNIE-GEN基于transformer设计了multi-flow attention结构。

最终据实验结果显示,ERNIE-GEN 在文本摘要生成、问题生成、多轮问答和对话4类生成任务的5个公开数据中,均取得了SOTA效果。

目前,ERNIE-GEN的英文预训练模型已开源,而基于更大规模预训练数据集的ERNIE-GEN也正式发布。ERNIE-GEN已应用于内部新闻标题生成等业务,未来还将支持机器翻译等更多类型的生成任务。

赋予机器「认知」能力,是人工智能中最具挑战的问题。深入理解语言,进而让机器具备人类的表达能力无疑意义重大。

百度在自然语言处理领域已有二十年的积累与沉淀,具备了最前沿、最全面、最领先的技术布局。搜索、推荐、语音、客服……百度ERNIE还迅速进入大规模应用,并已形成包含通用模型、任务模型、轻量级模型、领域模型的完善模型集,赋能各行各业。

不仅专注于前瞻技术探索,更致力通过技术应用解决实际问题,在自然语言处理领域持续突破的百度,正在将AI带入千万行业中。

相关推荐
热点推荐

邻居孩子偷吃我家橘子后住院,邻居让我赔三千医药费,我一分不给

眸中秋水
2021-03-04 12:41:18

离婚半年后,前婆婆得脑淤血住院,前夫让前妻照顾被拒:滚远点

西贝旅行
2021-03-04 09:25:41

吃牛排时,为何盘里总放一个生鸡蛋,不知道别瞎吃,不然会闹笑话

妙食记
2021-03-03 16:04:38

一个孩子最大的心酸,不是单亲,不是打骂,而是12岁前……

朗读君
2021-03-04 09:00:35

魔兽怀旧服:奥罗神壕玩家!NAXX共消费800万金,每个号双王剑!

玩咖生活
2021-03-04 19:59:40

蒙古大将俘获大批越南兵,见他们身上都有个刺青,怒道:全部杀光

大眼编辑部
2021-03-04 13:11:25

明确了! 延长至明年4月底!

长汀论坛
2021-03-03 17:01:50

3月5日惊蛰过后,四生肖会有贵人助力,事业步步高升,收获逐步上扬

社会报料
2021-03-04 06:59:24

孙俪的凡尔赛发言:送完孩子打完拳,看到那么多吃的以为在春游!

栀子游祖国
2021-03-04 16:18:53

穿旗袍的女人到底有多美,完美身材蚂蚁腰蜜桃臀,展现的淋漓尽致

美妆泡泡猪
2021-03-04 14:20:43

张柏芝三胎正面曝光,与谢霆锋小时候一模一样,跳进黄河也洗不清

健康调生活
2021-03-04 12:44:28

北方房价集体“失守”?央行原副行长:在泡沫中狂欢的日子不多了

社区智库
2021-03-04 12:20:53

16亿奖金飞了……英大学情侣摇中大奖号码,余额不足扣款失败没买上

资讯快递小哥
2021-03-03 19:50:59

一年基础保养费超过2500元!“养”一台Model 3为何比BBA更费钱?

买车大师
2021-03-04 10:15:42

中方寸步不让后,仅3天,美国防部火速道歉,轮到日本跳脚了

齐鲁前沿
2021-03-04 11:42:08

真爱粉!王自健花万元入手魅族18系列:一大一小两台

快科技
2021-03-04 15:31:12

爱抽烟的人,身体2处越“干净”,寿命越长,若你有,值得恭喜

杂事妙谈
2021-03-03 10:12:09

只差13分钟,这个德国木匠差点改变世界

战争事典
2021-03-04 08:00:09

惊悚!广西一女子在菜市场去卫生间,突然看到相邻位有人偷窥

溪水娱乐
2021-03-04 16:21:29

意不意外?杭州超广州,深圳超香港,苏州超厦门!

城市捭阖
2021-03-03 21:50:32
2021-03-04 20:53:06

头条要闻

白岩松:重大突发事件领导还要隐瞒 我感到非常惊讶

头条要闻

白岩松:重大突发事件领导还要隐瞒 我感到非常惊讶

体育要闻

哈登重回休城 率领篮网送老东家连败

娱乐要闻

美人依旧!46岁陈德容穿黑裙秀雪肤

财经要闻

科技要闻

这一届互联网公司大佬们 更关注民生了

汽车要闻

懂车的个性旅行家 全新傲虎等于SUV+旅行车

态度原创

手机
旅游
家居
公开课
军事航空

手机要闻

红魔游戏手机6系列发布 顶配18GB运存 6599元

旅游要闻

邂逅壮美日喀则,仰望世界之巅!

家居要闻

越南女儿送母亲190㎡小楼作礼物 红色外墙惹人注目

公开课

中国人最受不了的饮料,它排第一

军事要闻

SpaceX星舰SN10着陆成功后突然爆炸

×