要啥给啥的写作AI:新闻评论小说都能编,题材风格随便选

时事新闻 浏览(845)

人工智能编故事,一个模型比另一个更漂亮。

这里的“一个模型”自然是GPT-2生于OpenAI水平线空 然而,今天更漂亮的另一款车型来自全球最大的SaaS供应商销售团队。虽然人工智能的能力在过去并没有表现出太多,但这一次绝对令人惊叹。

作者知道他会保持沉默,并评论说水军会流泪。 因为定向故事和产生文案评论的能力太强了!

不要说太多,只要看看“作品”

给它一把刀,它就构成了这样一个“恐怖故事”:

”把手从洞里拉了出来 刀子打中我时,我吓了一跳,惊恐地睁大了眼睛。 除了哭泣,我只听到她尖叫。

当蜘蛛正要挖她上方的拱顶时,她摸了摸她的脚,小家伙的眼泪开始往下流。 蜘蛛抬头看着她,眼里含着泪水回头看着我。 我的心开始狂跳.

这里有场景、逻辑、细节和故事,我的写作技巧几乎达到了专业作家的水平。

还可以创造“买家的赞美”:

刀子是一种工具,这很容易使用 我给我丈夫买了这个。 自从他得到它们后,他就一直和它们一起切肉。

他说它们很锋利,所以使用时要小心,但这似乎不是什么大问题。 从鸡胸肉到牛腰肉,他都切了.

与没有大脑可称赞的水军相比,人工智能的结果很难想象是由机器编写的,包含所有核心信息点和细节。

但这不是写好的关键,也很难判断这是真是假!

更重要的是,这种模式的独特之处它只需要给出条件,就可以“定向”编故事,写命题作文,参考哪种类型,写它想写的任何风格。

与脑洞过于强大的GPT-2相比空,它更容易被驯服和利用。

模型发布后,很快就引起了业界的关注。 其他人评论说:

“这太酷了!能够以更结构化的方式控制文本生成非常有价值。 “

此外,这个自然语言处理模型有16亿个参数,比前一个最大的GPT-2多10亿个

尽管他们也担心模型被滥用,但在研究人员看来,开放可能更好,允许更多的人一起参与和抵制。

所以,他们直接在GitHub上发布了几个全尺寸的、训练有素的CTRL版本 而不是挤牙膏来开辟像GPT-2这样的新来源

此外,它也是一个全方位的玩家,不仅可以编造故事,比如对红迪论坛的健身和财务部分发表不同的评论。

它有很多严肃的用途:写维基百科条目,回答各种常识问题,翻译单词,等等

那么这是什么样的自然语言处理模型?

这个模型有一个非常“精神”的名字:CTRL,都叫做条件转换语言,一个条件转换语言模型

自《变形金刚》问世以来,文本生成领域的伟大前辈一个接一个。伯特是这一领域的先驱,GPT-2可以写论文

然而,与人类的创造方法不同,生成的文本被谬误扭曲,语言模型的前身不能根据特定的主题写内容。

CTRL诞生了

这是一个条件转换语言模型,有多达16亿个参数(GPT-2模型参数15亿)。它使用无监督学习,顾名思义,可以更准确地控制文本生成的内容

例如,给出1.0的产品评级

GPT-2生成的内容是这样的:

0x 251d

CTRL将生成结果:

"我给我的儿子买了这个,他是这个程序的超级粉丝 他在得到它之前就盼望着它。 但是当他打开它时,我们都非常失望。 产品质量太差了。 它看起来像一元店的东西。

这东西状况不佳 前盖上有几处划痕和其他轻微磨损.

实现的关键在于控制代码。

CTRL以控制代码c为条件学习分布p (x | c)。 这种分布可以通过概率链规则分解,并通过考虑控制码的丢失来训练。

控制代码可以让用户的意图被语言模型理解 CTRL模型中的大多数控制代码都可以通过标记训练数据集的特定标签来指定生成文本的整体样式

即使给出的提示相同,控制代码也允许生成多样化的内容。 此外,即使没有给出提示,CTRL也可以生成特定样式的文本。

如果有控制代码,就没有必要在开始时将控制代码添加到标签代码中,这会进一步限制生成。

例如,在OpenWebText版本中,在每个文档之后添加一个作为输入序列的开始

这样,CTRL将在训练过程中学习这些的结构和文本之间的关系。 在推理过程中,可以指定各种功能,包括域、子域、实体、实体关系,甚至日期

此外,还有少量与特定任务相关的控制代码,如问答和翻译。 这些控制代码相对复杂

有趣的是,混合控制代码会产生一些有趣的文本

例如,如果将翻译控制代码混合到饮食标签中,生成的文本有两种不同语言的版本:

然后,例如,如果将政治提示和法语提示混合在一起:

这些组合在以前的培训中没有出现。

值得一提的是,CTRL拥有140GB的训练文本数据,包括维基百科、古腾堡书籍、OpenWebText2数据集(GPT-2网页文本数据集的克隆)、大量新闻数据集、亚马逊评估、ELI5问答、斯坦福问答数据集等MRQA共享任务。

数据集不是开源的,但是Salesforce说他们将发布与数据收集相关的代码。

此外,因为控制代码和用于训练模型的文本之间存在直接关系,所以CTRL可以确定生成新文本时哪个数据源对新文本影响最大。

这篇文章来自全球最大的SaaS服务提供商Salesforce

最近的焦点是大规模商业收购:以157亿美元收购大数据公司Tableau。

销售力量研究是其内部研究部门。它的核心目标是使用人工智能来解决业务问题。它在自然语言处理领域取得了巨大的成就。

目前,该部门由销售力量首席科学家理查德索彻(Richard Socher)领导。

他毕业于斯坦福大学计算机科学系 2016年,在他创建的公司被Salesforce收购后,他加入了Salesforce。

根据他的个人网站信息,仅在2019年,他就发表了11篇顶级论文,其中包括美国公民自由联盟2019年3篇;ICLR 2019年6篇文章;CVPR 2019 1;ICML 2019年3篇文章

他也是这篇论文的作者之一 这篇论文的其他作者都是销售力量研究公司的研究人员。 第一批作者是爱尔兰作家凯卡尔和布莱恩麦肯。

其中,N ITISH IRISH KESKAR是Salesforce的高级研究员。他毕业于西北大学,获得了深入研究及其在自然语言处理和计算机视觉中的应用的博士学位。 根据他的个人主页,已经发表了14篇论文,包括ICLR和其他顶级会议。

布莱恩麦肯也是销售力量的高级研究员。他毕业于斯坦福大学,并担任吴恩达机器学习课程的助理。他的研究方向是深入学习及其在自然语言处理中的应用。 根据他的个人网站,他已经发表了7篇论文,包括许多人工智能顶级会议,如美国公民自由协会(ACL)、神经科学项目(神经核项目)、电子媒体实验室(EMNLP)等。

这一研究结果也引起了对模型参数的讨论

有人说,如果阿维达的威震天被释放,15亿个参数或16亿个参数肯定会被粉碎。

然而,有些人给出冷淡的想法,表明许多参数不是优点而是缺点。 阿姆斯特丹大学助理教授威廉祖伊玛说:“为什么规模是一个卖点?我知道人们很自豪能建立一个非常好的模型,甚至找到了一种用有限的计算资源来训练大型模型的方法。

但在我看来,16亿参数本身似乎是一个弱点,而不是优势。 理查德索彻也回答说:“事实上,假设性能相同,越小的型号越好。” 然而,事实已经证明,只要你在大量的训练数据上训练它,语言模型的表现和记住事实的能力与大小密切相关。

Jelle Zuidema再次回答,给出了进一步的解释:

“令我惊讶的是,“最大值”是陈述中的第一个形容词,而“高质量”只是最后一点。

我认为有必要提醒人们,理想的方法仍然是更少的参数、更少的训练和更好的表现 "

你怎么想呢?

最后,如果你对这项研究感兴趣,请把门户网站放在一边:

项目地址:

论文地址:

博客帖子:

简介-a-条件-转换-语言-模型-可控-生成/

本文已经标出了来源和来源。版权属于原作者。如果有任何侵权行为,请联系我们。

——