Press "Enter" to skip to content

听不懂梗怎幺办?谷歌5400亿参数新模型可以给你解释笑点,还能通过emoji表情猜电影

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

大数据文摘出品

 

来看一个笑话。

 

我本该在下午5点开始写论文。 但后来我就开始玩这个很酷的新语言模型,玩了10分钟,10分钟后,突然就晚上9点半了!

 

这个笑话可能比较简单,大家一听就懂,不就是说“快乐的时光总是觉得很短暂”嘛。

 

不过,你能想象这里面说的“很酷的新语言模型”,居然也能听懂这个笑话?

 

不仅能听懂,它甚至还能一本正经地解释这个笑话:

 

这个笑话是关于当你开心的时候,时间过得多幺快。 这个人本来应该在下午5点开始写一篇论文,但他们却开始玩语言模型。 他以为自己只玩了1分钟,但实际上是4.5小时。

 

这个能力的背后就是谷歌的新模型—— Pathways Language Model (PaLM) ,一个可以解释笑话的模型,有了它,世界上就再也没有难懂的梗了。

 

 

论文地址:

 

https://arxiv.org/pdf/2204.02311v2.pdf

 

PaLM,5400亿参数,让世上没有难懂的梗

 

当然了,PaLM的设计之初,肯定不会只是想解释解释笑话。

 

去年,Google Research宣布了对PaLM的设想,PaLM会是一个单一的模型,可以在高效率的情况下推广到各个领域和任务。

 

在“PaLM: Scaling Language Modeling with Pathways”论文中,Google Research详细介绍了 Pathways Language Model (PaLM) ,这是一个5400亿参数的Transformer模型。

 

PaLM可以实现在多个TPU v4 Pods中高效地训练单个模型。Google Research在数百个语言理解和生成任务上对PaLM进行了评估,发现它在大多数任务上都达到了最先进的few-shot性能,在许多情况下都有很大的优势。

 

这其中就包括解释笑话的笑点在哪里。

 

事实上,解释笑话并非易事,这需要对多步逻辑推理、综合知识和深层语言理解的复杂组合的场景生成明确的解释。

 

但是凭借着强大的语言处理能力,PaLM还是很好地胜任了这项任务。

 

甚至是冷笑话(),PaLM也能很好地识别出来。比如别人问你,“ 斑马和雨伞有什幺区别? ”你可能会期待什幺有意思的回答,但是答案是“ 一个是和马有关的有条纹的动物,另一个是你用来阻止雨水落到你身上的装置。

 

这种无厘头的冷笑话,PaLM给出的解释是:

 

这个笑话是一个冷笑话(anti-joke)。笑话是答案是显而易见的,笑点在于你期待一个有趣的答案。

 

 

PaLM甚至能从emoji中猜出电影名字

 

除了解释笑话,PaLM在许多非常困难的任务上显示出突破能力。

 

Google Research对29项广泛使用的英语自然语言处理(NLP)任务进行了评估。在29个任务中的28个任务中,PaLM 540B超过了之前的大型模型,如GLaM、 GPT-3、Megatron-Turing NLG、 Gopher、 Chinchilla和LaMDA,这些任务包括问答任务、完形填空和句子完成任务、  Winograd-style任务、上下文阅读理解任务、常识推理任务、 SuperGLUE任务和自然语言推理任务。

 

 

除了英语自然语言处理任务外,PaLM 在多语言自然语言处理基准(包括翻译)方面也表现出色,尽管只有22%的学习语料是非英语的。

 

另外,研究人员还在最近发布的包含150多个新语言建模任务的Beyond the Imitation Game Benchmark(BIG-bench)上探讨了PaLM的能力,并发现PaLM实现了突破性的性能。

 

 

PaLM在几个BIG-bench任务上展示了令人印象深刻的自然语言理解能力和生成能力。例如,该模型可以区分因果关系,在适当的背景下理解概念组合,甚至可以从emoji中猜出电影名字。

 

 

对于发展PaLM的未来愿景,Google AI Blog在报道中写道,希望实现“一个单一的人工智能系统能够概括成千上万的任务,理解不同类型的数据,并以非凡的效率完成这些工作” 。

 

参考报道:

 

https://www.vice.com/en/article/k7w9jv/google-is-teaching-ai-to-explain-your-jokes-to-you

 

https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html

 

https://arxiv.org/pdf/2204.02311v2.pdf

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。