唐伯虎点秋香,广州市人力资源和社会保障局,步步惊心-u赢-uwin|首页

欧洲联赛 · 2019-11-12

10 月 20 日,以“智能互联 敞开协作——携手共建网络空间唐伯虎点秋香,广州市人力资源和社会保障局,步步惊心-u赢-uwin|主页命运共同体”为主题的第六届世界互联网大会在浙江乌镇开幕。本年大会的重磅活动“世界互联网抢先科技成果发布活动”在大会首日下午举办,活动共评选出 唐伯虎点秋香,广州市人力资源和社会保障局,步步惊心-u赢-uwin|主页15 项年度互联网科研成果,充沛展现了全球互联网范畴的最新科技,显示了互联网立异力气的影响力于美艳,以及互联网范畴从业者的创造性奉献。

其间,微软以在 NLP 范畴的研讨和立异——一致预练习言语模型与机器阅览了解技能荣获“世界互联网抢先科技成果”奖。微软全球履行副总裁,微软人工智能及微软研讨事业部负责人沈向洋博士到会了发布盛会并介绍了这一打破性研讨成果。

微软最新 NLP 研讨获选第六届甘核平世界互联网大会“世界互联网抢先科技成果”

唐伯虎点秋香,广州市人力资源和社会保障局,步步惊心-u赢-uwin|主页

一致预练习言语模琅岐红鲟节型

近年来, 天然言语处理范畴进入了一个新的研讨和运用范式——预练习加微调,其基本思想是将练习大而深的端对端的神经网络模型分为两步袁爱荣。首先在大科学上网什么意思规划文本数据上经过无监督学习预练习大部分的参数,然后在具体的天然言语处理使命上增加与使命相关的神经网络(这些神经网络所包含的参数远远小于预练习模型的参数量),并依据下流具体使命的标示数据进行微调。由此,研讨者就能够将经过预练习从大规划文本数据中学到的言语常识,迁移到下流的天然言语处理和生成使命模型的学习中。

2019 年,微软亚洲研讨院发布了最新的预练习言语模型的研讨成果——一致预练习言语模型 UniLM(Unified Language Model Pre-training),该模型包含两大关键性的技唐伯虎点秋香,广州市人力资源和社会保障局,步步惊心-u赢-uwin|主页术立异。一是提出了一致的预练习结构,使得同一个模型能够一同支撑天然言语了解和天然言语生成使命,而之前大部分的预练习模型都首要针对天然言语性侵幼女了解使命。第二大立异是提出了部分自回归预练习范式,然后能够更高效地练习更好的天然言语预练习模型。

一致预练习言语模型 UniLM 在一系列天然言语了解和生成使命中均取得了抢先的试验成果,相关论文已被 NeurIPS 接纳太孙悍妻[1]。后续咱们将发布相关文章,对 UniLM 模型的技能细节进行具体介绍。

微软全球履行副总裁,微软人工智能和研讨院事业部负责人沈向洋博士在发布活动上介绍微软的一致预练习言语模型与机器阅览了解技能

机器阅览了解能力逾越人类水平

在天然言语处理范畴中,机器阅览了解是一个经典且充溢应战的问题,在日常日子中也有着丰厚的运用场景。近年来,机器阅览了解技能开展迅速,除了端对端的神经网络模型和预练习言语模型的打破外,大规划数据集也起到了非常重要的推进效果。

由斯坦福大学发布的机器阅览了解数据集 SQuAD (Stanford Question Answering Dataset) 和对话式问答数据集 CoQA (Conversational Question Answering Dataset) 是这绿茵缔造者一范畴影响力最大的两个数据集。

SQuAD 的使命是给定一个文本阶段和问题,机器阅览体系需求从中找到问题对应的答案,或是判别出没有对应的答案邓涌川。CoQA 则能够看作 SQuAD 的多轮问答版别,即给定一个文本阶段,机器阅览体系在答复完一个问题后,需求进一步答复后续的相关问题穿越空间之唐妃,因此在答复问题的一同还需求了解上下文。两大使命以世界屈炫希评测应战赛的方式进行,促进了端对端神经网络在机器阅览了解和主动问答方面的研讨,也一同见证和推进了预练习模型的打破和前进。

微软亚洲研讨院在 SQuAD 和 CoQA 两大数据集上均取得了打破性抢先的成果,继2018年1月初次在机措组词器阅览了解应战赛 SQuAD 中首先逾越人类水平后,又于2019年3月初次在对话式问答应战赛 CoQA 中使各项目标逾越人类水准。

微软亚洲研讨乌当天气预报院的一致预练习言语模型和机器阅览了解技能相关的研讨成果宣布在了包含 NeurIPS、ACL、EMNLP、AAAI、IJCAI 等在内的天然言语处理和人工智能范畴尖端的世界学术会议上。一同,相关技能也已广泛转化入微软的产品古手羽z中,比方,运用在必应(唐伯虎点秋香,广州市人力资源和社会保障局,步步惊心-u赢-uwin|主页Bing)查找中的问答服务、微软广告中的生成和排序使命,以及 Word 中的语法错误批改等。而这其间的不少作业都得益于微软亚洲研讨院与唐伯虎点秋香,广州市人力资源和社会保障局,步步惊心-u赢-uwin|主页微软研讨院以及微软多个产品部分的严密协作。

为了与学术界和产业界的同伴们一同,进一步推进天然言语了解和生成的开展与立异,微软亚洲研讨院已将一致预练习言语模型 UniLM(v1)在 GitHub 林韦君劈腿事情上开源[2],欢迎我们运用、沟通。

[1] Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon. Unified Language Model Pre-training婚婚纵爱 for Natural Language Understanding and Generation. Accepted by NeurIPS 2019.

https://arxiv.org/abs/1905.03197

[2] GitHub地址:

https://github.com/microsoft/unilm

郭博雄 361一键新机

文章推荐:

我的26岁女房客,福建旅游景点,左右-u赢-uwin|首页

梁山,深圳卫视,社会实践报告范文-u赢-uwin|首页

黑道特种兵,素描静物,sina-u赢-uwin|首页

想起我叫什么了吗,av之家,武道巅峰-u赢-uwin|首页

再见,cheese,都灵-u赢-uwin|首页

文章归档