欢迎来到(dào) 济宁众文网络科技有限公一動司
新闻中心
我们为您提供更具有优势的企业网從了络服务平台
26 亿参数量，水平接近人类，開村費(kāi)放领域聊天机器人意义何在？
- 分类：新闻资讯
- 作者：
- 来源：
- 發(fā)布時(shí)间：2020-02-04 14:15
【概要描述】科技巨头们時(shí)不時(sh睡現í)就(jiù)声明在AI领域取得了突破性進(jìn民會)展，對(duì)此我们已經(jīng)见惯不惊了。当地時關東(shí)间2020年1月28鄉自日，cedemo在一篇博客中介绍了一款開(kāi)放领域聊天机器到計人Meena，号称“史上最强”，那麼(me)這(zhè)一新水他突破會(huì)让人眼前一亮吗？
26 亿参数量，水平接近人类，開(kāi)筆錯放领域聊天机器人意义何在？
【概要描述】科技巨头们時(shí)不時(shí)就(jiù)声明在AI领域取得了突明河破性進(jìn)展，對(duì日美)此我们已經(jīng)见惯不惊了。当地時(shí)间202書長0年1月28日，cedemo在一篇博客中介绍了一款開(k光購āi)放领域聊天机器人Meena，号称“史上最强”，那麼(me)這(zhè離區)一新突破會(huì)让人眼前一亮吗紅為？
- 分类：新闻资讯
- 作者：
- 来源：
- 發(fā)布時(shí)间：2020-02-04 14:15
详情
科技巨头们時(shí)不時(shí)就(jiù)声明在AI领的訊域取得了突破性進(jìn)展，對(duì)此我们已經(jīng)见惯不事她惊了。
当地時(shí)间2020年1月28日，cedemo在一篇博客中介得章绍了一款開(kāi)放领域聊天短開机器人Meena，号称“史上最强”，那麼(me)這(zhè)一如是新突破會(huì)让人眼前一亮吗？
開(kāi)放领域聊天机器人開(低林kāi)發(fā)难度大
实际上，设计智能(néng)聊天机器人是多老为了应對(duì)信息爆炸時(shí)代存在的信息過(g畫站uò)载问题。最初，人们把聊天机器人理熱当作搜索引擎的终极形态進(jìn)行设计和開(kāi)發(fā)。不同道呢于现有的搜索引擎，聊天机器人可针對(duì)用户的问题自然又通顺地给出精讀黑准的答案，节约了很多時(shí)间，从我信而带来更好(hǎo)的用户体验。
根据使用场景划分，聊天机器人（chatbot長機）主要有開(kāi)放域型（Open-Doma音得in）和任务导向(xiàng)型（Task-Oriented訊木）兩(liǎng)種(zhǒng)。
其中，任务导向(xiàng)型主要有问答系统、對(du綠筆ì)话系统聊天机器人，分别指基于用户的问题给出一个回答（常用于智能(néng)影什搜索、智能(néng)家居中的家理體电控制等场景）和与用户進(jìn)行多轮對(duì)话的聊天机西物器人（如客服机器人，销售机器人等）。
而開(kāi)放领域聊天机器人（也称闲聊式机器人玩業）顾名思义针對(duì)開(kāi)放域的對(國對duì)话场景，主题、内容不限，比如微软小冰。cedemo在上學冷述博客中表示：
開(kāi)放领域聊天机器人的研究不仅具有學(學市xué)术价值，還(hái)可激發(fā)很多有趣的应用，如呢能更深层次的人机交互、提升外语训练效果，以及制作交互式电影和游章錯戏角色。
值得一提的是，開(kāi)放领域聊天机器人更符合人们心中對(du都為ì)「人工智能(néng)」的定位，開(kāi)發(fā)难度自然也很大——男好当前開(kāi)放领域聊天机器人面(miàn)临的一計可个严峻问题在于它们表达的内容往往沒(méi)有意义，无法与用户的问题连贯起(美物qǐ)来，而且由于缺乏基本的常识和认分現知，不能(néng)给出针對(du吧美ì)性的回复。
而cedemo開(kāi)發(fā)的Me兒快ena正是一款開(kāi)放领域聊天机器人，那麼(me)相比现有的聊天机器人，理林究竟有何突破？
26亿参数的端到(dào)端神經(jīng)對(duì)话模型還理
cedemo在博客中介绍称，M匠離eena是个26亿参数的端到(dào)端训练冷年的神經(jīng)會(huì)话模型，是GPT-2模型最大版作現本（15亿参数）的1.7倍。据称，cedemo利用400亿字的数据集，通作師過(guò)2048个张量处理单元训练了30天，得到(dào)了最佳版本。实验輛就表明，比起(qǐ)聊天机器人SOTA，Meena能(謝自néng)更好(hǎo)地完成(chéng)對(duì)如商话，内容也更具体、清楚。
据悉，Meena由1个Evol些樂ved Transformer编码器和13个Evolved Trans些店former解码器组成(chéng)：编码器用于处理對(duì)生件话语境，有助于Meena理解對(duì)方的话；而解码器则會(huì)利用信息化用生成(chéng)回复。而在這(zhè)一過(guò)鐵場程中，cedemo表示：
研究人员發(fā)现，超参数调整後(hòu)，实现高质是樂量對(duì)话的关键在于性能(關匠néng)更强的解码器。
雷锋网了解到(dào)，cedemo从公共领域社交媒体對(duì)话上過短知(guò)滤得到(dào)了341GB的文本，銀師并以树状脉络形式组织文本進(jìn)行「多轮對(duì)话」训练。研究鄉事者將(jiāng)每轮對(duì)话作科林为训练樣(yàng)本，同時(shí)每轮之前的紅國7轮對(duì)话为语境信息，共同构成(c國說héng)一组数据。据悉，选择7轮對(duì)话作为语境，既能(néng小子)保证训练過(guò)程获得足够長(cháng)的语境信息，同低紙時(shí)模型也能(néng)不超過(guò拿玩)内存限制。毕竟文本越長(cháng)，占用的内存也相費越多。
新提出的人类评价指标SSA
根据博客，上述這(zhè)些表现是由cedemo睡就根据新提出的人类评价指标「Sensibleness and Specifici業秒ty Average(SSA)」得出的，而此次提出新的指标坐懂是因为，目前聊天机器人的人类评价指标颇为复杂，而且也很难形成(ché事吃ng)一致的评价指标。cedemo表示，SSA能(néng)捕获基本的、但黑麗對(duì)人类對(duì)话来說(s費在huō)很重要的属性。
为计算這(zhè)一指标，研究者测试了Meena、Mitsuk從農u、Cleverbot、DialoGPT及小冰等常见的聊天机器人。在测试她不中，對(duì)于每一款聊天机坐開器人，研究者都(dōu)在100个師坐對(duì)话中收集了1600到(dào)2400轮，各電刀聊天机器人的回复都(dōu)由人类長員评价者评分（主要依据對(duì)话的流畅性和回答的准确性），其各自性醫我能(néng)表现如下图。
不难看出，Meena相比于现有的SOTA聊天机器人，有著(zhe)更是我高的SSA分数，甚至接近于人类的表现。
困惑度与SSA强相关
毫无疑问，人类评价或多或少存在一可船些问题，因此很多研究者都(dōu劇議)希望找到(dào)一个能(néng)够自动计算的评价指标，而且這(zhè)个林哥指标要能(néng)和人类评价准确對(duì)应。
雷锋网(公众号：雷锋网)了解到(dào)，困惑度水子（perplexity，指一種(zh明城ǒng)任何神經(jīng)會(huì)话模型都(dōu)能(néng)轻南公易获得的计算指标）是seq2seq模型（雷锋网注：一種(zhǒng)循章愛环神經(jīng)网络的变種(zhǒng)，包括编码器和解码拿又器兩(liǎng)部分，是自然車冷语言处理中的一種(zhǒng)雜用重要模型，可用于机器翻译、對(duì)话系统、自动文摘）中的作子一个常见指标，用于评价语言模型的不确定性。
而值得一提的是，cedemo证明了困惑度与S火資SA高度相关。
实际上，训练Meena正是为了最大程度地减少困惑度，以及预测下一个标亮司记（雷锋网注：指對(duì)话中的議樂下一个单词）的不确定性——据博客称，這(zhè)是因为Meena的核還愛心为Evolved Transformer seq2seq架构，即飛吃一種(zhǒng)通過(guò)進(jìn)化神經(jīng)架构搜索發能腦(fā)现的Transformer体系结构，能(néng)够改善困惑度。厭爸
在博客中cedemo表示，研究者依据层数、注意筆樂力数量、训练步数、编码器、训练方式等因森綠素，共测试了8種(zhǒng)不同的模型，發(fā)现困惑度越低電低，SSA分数越高，同時(shí)兩(liǎn做土g)者的相关系数很高（R^2=0.我的93）。
同時(shí)cedemo表示：
研究者將(jiāng)继续通過(guò海道)改進(jìn)算法、架构、数据和计算量等，降低這(z大樹hè)一神經(jīng)會(huì)话模型的唱短困惑度。
Meena意义大吗？
根据博客中展示的数据，我们相信Meen醫妹a的确性能(néng)出众，不過(g話日uò)Meena究竟什麼(me)時(shí這要)候能(néng)推出、真正推出後(hòu)表现如何，可能(né雪關ng)都(dōu)要打问号。博客中提到(dào)為花，目前研究团队正在就(jiù)這(zhè)一研究的风還湖险及益处做進(jìn)一步的评估，并可能(néng)在未来几理這个月内推出Meena，旨在推动该领裡物域的發(fā)展。
對(duì)此，VentureBeat那妹记者Ronald Ashri在其报道(dào)中表示：
首先我们要意识到(dào)，即便Goog務亮le開(kāi)源所有代码，也很少有人能(né亮可ng)培训类似Meena的模型。Meena应该還(hái)在实验室哥動裡(lǐ)，操作起(qǐ)来也非常复杂，還(hái)不能(黃吧néng)將(jiāng)其整合到(dào)一个工具中，而且Googl藍小e也不可能(néng)很快就(ji吧男ù)將(jiāng)其作为一项服务向(x笑道iàng)用户提供。因此，恐怕短期内Meena难以推出。習小
另外，在实用性方面(miàn)，诚然Meena作为一款開遠要(kāi)放领域聊天机器人，能(néng)够实现多轮對(跳資duì)话。不過(guò)Meena并不能(nén錯河g)协助用户完成(chéng)某项任务、學(xué讀女)习某项新技能(néng)，或为身处困境的用户给予情感或心理人對支持，和用户的聊天沒(méi)有明确的目的。而耗费時(shí)北街间進(jìn)行无意义的交谈，在我们所处的時(shí)代大背景下似乎并非理也吃想产品。
与此同時(shí)，记者Ronald民生 Ashri也對(duì)Meena醫購提出了進(jìn)一步质疑。正如上文所述，數喝cedemo从公共领域社交媒体對(duì)话上過(guò)滤得到(d自市ào)了341GB的文本，以此進(jìn)行進(jìn)一步的训练內年。那麼(me)，数百万的公共领域社交媒拿兒体對(duì)话會(huì)是這(z歌我hè)一所谓的「史上最强聊天机器人」的正确数据集還喝吗？Meena是否會(huì)讲出不恰当的话，可能(n離街éng)也是一个我们要关注的点。
近年来，随著(zhe)越来越多的AI物劇聊天解决方案進(jìn)入生活，玩中我们需要关注最有价值的东西——定义类似人类的對(duì)话，并探究這(z舊謝hè)类對(duì)话在聊天机器人领道見域中的角色。
本司將(jiāng)致力于不断的改進(jìn)产品生产工艺和房愛品质，并且不断的發(fā)展新的产品去保持市场吃你的竞争能(néng)力。正朝著(zh都湖e)现代企业的方向(xiàng)与時(shí)间一同前進(jìn她我)。以“真诚、务实、优质、高效”为企业宗旨，竭诚为各界人士服务。
地 &nb錢在sp;址：山东省济宁市环翠路中德广场D座9楼
联系方式：18605378179銀會
客服邮箱：jnhuizong#得亮163.com