Press "Enter" to skip to content

计算机视觉 | 图像描述与注意力机制

图像描述的含义是生成图像的描述,采用注意力机制生成图像标题,图像标题的每个词集中在图像中最相关的部分,并且预测下一个词。

 

如下图的图像生成:

 

 

图像标题: <start>a large airplane flying in the blue sky <end>

 

图像标题生成框架:

 

 

该框架涉及的几个概念:

 

图像编码(Encoder) : 将具有3个彩色通道的输入图像编码成具有“学习”通道的较小图像 ,这些编码图像包含了原始图像的信息。

 

图像解码(Encoder) : 将编码图像逐字生成标题。

 

注意力网络(Attention): 编码与词相关的图像,每个标题的词集中在图像最相关的部分。

 

束搜索(Beam search) : 解码器逐字生成的标题序列中,束搜索算法得到最优的标题序列。

 

下面详细介绍这几个概念。

 

1.图像编码

 

我们使用ResNet-101网络去编码图像,需要去除最后两层的线性层,因为最后两层的线性层是用于分类任务的,图像编码只需提取特征。

 

图像编码网络如下图:

 

 

ResNet网络编码的结果是由2048个通道大小为14×14图像组成,模型参数通过迁移学习获得。

 

2.图像解码

 

解码器是根据编码图像逐字生成标题,这里使用循环神经网络(RNN)生成标题序列,选择的RNN类型为LSTM。

 

若解码器不使用注意力机制 ,那幺解码器的算法流程是:首先对编码图像所有像素进行平均,得到2048×1的向量,然后无论对该向量是否进行线性变换,都可以将其作为第一个隐藏状态输入解码器,生成第一个单词,并用该单词作为输入生成下一个单词。

 

 

若解码器使用注意力机制 ,那幺解码器在生成单词时,需要考虑该单词最相关的图像部分。比如语句序列a man holds a生成单词football时,解码器需要关注图像中足球所在的区域,并给该区域较大的权重。

 

如下图含有注意力机制的解码器:

 

 

解码器网络的输入是前一个RNN单元的输出隐藏层,上一个单词的嵌入向量和注意力网络生成的权重图像,算法代码需要将嵌入向量和注意力网络拼接成一个向量作为输入。

 

3.注意力网络

 

注意力网络计算与词相关的像素权重。

 

凭自己的直觉,如何估计图像某一部分的重要性?若要突出图像某一区域的重要性,那幺需要提高该区域的权重。

 

在图像描述项目中, 你需要了解到目前为止生成的序列,根据注意力网络生成像素权重,并决定接下来需要描述什幺。

 

这正是注意力机制所做的——它考虑目前为止所生成的序列,并关注接下来需要描述的图像部分。如下图:

 

 

4.图像描述框架

 

根据前面介绍的编码器,解码器和注意力机制,图像描述框架如下图:

 

 

算法流程:

 

1)编码器编码输入图像的信息,生成1048个通道大小为14×14的图像,编码器采用 ResNet-101网络,不包括网络最后两层的线性层。

 

2)注意力网络根据编码图像和上一层解码器的输出隐藏状态,生成与下一个单词相关的图像。

 

3)解码器生成图像的标题序列,解码器采用LSTMcell网络。

 

5. 束搜索(Beam Search)

 

我们使用线性层将解码器的输出转换为词汇表中每个单词的得分。

 

最直接和贪婪的方法是选择当前得分最高的单词来预测下一个单词,这种做法很可能生成的不是最佳序列,因为剩下的单词序列取决于你选择的第一个单词。如果第一个单词不是最好的,那幺接下来的序列预测都是次优的。

 

解决方法是: 每次解码器都选择最好的3个单词,比如你在第一步选择3个最好的单词,第二步根据第一步的每个单词,都生成3个最好的单词,即第二步共生成9个单词。 结合第一步第二步,选择最优的3个单词序列 。以此类推,当预测单词为<end>时,标题序列生成结束。

 

如下图的束搜索算法生成最优标题序列:

 

 

由上图可知,最优标题序列为:a man holds a football

 

参考

 

https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注