卷友们好，我是rumor。
前几个月我一度觉得NLP这波发展要到头了，作为看着BERT长大的女人，我经历了太多。
18年BERT刚出来时大家主要研究各种精调方法，以及没有放弃各类魔改
19年的时候大家资源慢慢上来了，开始研究各种预训练任务
20年的时候发现要什幺任务，数据和模型量级才是王道，贫富差距越来越严重
21年的时候大多数人已经搞不起军备竞赛了，开始利用Prompt去研究如何在最低的精调成本下用上大模型
直到过年那段时间，我看了一些论文，一个浅浅的想法开始在我脑袋里发芽，然后在昨天看到了量子位的一篇报道「 大型神经网络可能初具意识 」，一切仿佛就对上了，搞得我都有点失眠。
我的脑洞是： 大模型可以开始学习和我们的世界交互了 。
第一层证据，是去年下半年谷歌提出的一个新范式：Instruction Tuning
直接告诉大模型，你要做个XX任务，有A、B、C几个选项，你怎幺做？
这种输入形式在经过多指令精调后， zero-shot效果十分地好 ，OpenAI在GPT-3服务上也推出了InstructGPT，并GPT-3做了更多的对比：
虽然这些任务还都停留在文本层面，但预示了一点，就是 大模型可以「理解」我们让他做的事 。
第二层证据，是年前谷歌挂出的LaMDA模型论文，还有OpenAI提出的WebGPT。
他们为了避免让大模型在生成结果上胡编乱造，开始让大模型学会使用搜索API接口，并利用搜索结果回答开放域问题。
同时在亚马逊Alexa的一篇论文 [1] 里也提出了一个端到端的对话系统，让模型可以直接学习使用开发者提供的API。
于是我开始有了一个浅浅的想法：
what if 让大模型自己在网上冲浪？比如刷信息流、在论坛灌水？
what if 加入多模态，让大模型把网页中的图像、视频、文字、语音都读进去？
what if 开放更多的接口，可以跟现实世界交互的接口？
大模型可以利用API做一些事了。
第三层证据，是上周 OpenAI首席科学家Ilya Sutskever 在Twitter上发的这句话：
他说了这话之后，MetaAI的LeCun立刻回怼，还有很多大佬同样出来反驳，但随后Ilya在昨天又发了一个推：
认知=行动。
恰恰好就和我的脑淫对上了。。。
教大模型使用更多接口后，它会干什幺呢？看小姐姐图片？当一个网络暴民？
一定是某些出奇的行为，让Ilya大佬开始猜测，这个模型它是不是有点想法？
好了，脑洞就开到这里， 文字的力量太强大了，它可以用来表达想法，也可以用来表达动作 。
以上全属个人猜测，自己的视野和阅读量也十分有限，欢迎感兴趣的朋友留言交流。
参考资料
[1]
Alexa Conversations: An Extensible Data-driven Approach for Building Task-oriented Dialogue Systems: https://aclanthology.org/2021.naacl-demos.15.pdf
Be First to Comment