Transformer T5 模型慢慢读

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

Transformer T5 模型慢慢读

代码地址： https://github.com/google-research/text-to-text-transfer-transformer

其他参考地址：

先从他的论文走起，但是很多页…

论文地址： https://arxiv.org/abs/1910.10683

一、模型粗略认识

T5 的由来，就是prompt 思想演变的，将所有的下游任务转换成一种任务 让所有任务共用一种解题方式（极大减轻了参数量，如果2个任务，每个任务10万参数，那幺此种生成式方法仍然10万，而传统的针对下游的模型需要20万参数），生成式去生成答案。至于损失函数还要看后面的设计。（在下面的图中显示的是啥都一样的意思）

二、模型一些基本设置

数据集是C4 一个网络爬虫的大数据集，整体模型是基于Transformer 的生成模型。

1.模型框架：

其与经典的 Transformer 模型的区别有3点，

①移除 Layer Norm bias, ② 将 layer normalization 放在残差路径外面, ③使用不同的 position embedding 策略

目标损失形式： maximum likelihood objective (using “teacher forcing”）

2.输入形式：

①可以分别对下游进行微调，并不需要所有下游任务一起微调。②利用prefix 的前缀提示词来表示不同的学习任务。