Press "Enter" to skip to content

新视角:用图像分类来建模文字识别也可以SOTA

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

我们最近做了一个文字识别的工作: “  CSTR: A Classification Perspective on Scene Text Recognition ”  简单介绍如下:

 

当前文字识别有两种建模视角:seq2seq-based和segmentation-based。

 

seq2seq-based 的方法首先将图片encode为特征序列(比如CNN、RNN、Transformer encoder或者它们的组合),然后对特征序列进行decode(比如CTC、RNN、attention based RNN、Transformer decoder等)。

 

segmentation-based 的方法首先定位出字符的位置,然后识别出各个位置的字符,最后将字符组合成字符串。

 

过去达到SOTA的文字识别方法大部分是seq2seq-based,但是seq2seq-based的方法pipeline复杂(大部分还需要STN模块来对图像进行矫正)。

 

segmentation-based的方法简洁很多,但是需要字符级别的标注,字符级别的标注成本高昂,在实际生产环境中不太可能使用这样精细的标注方式。

 

我们提出了一种图像分类的建模视角: classification-based 。

 

即将文字识别任务建模为图像分类,整体pipeline比segmentation-based的方法更简单,而且不需要字符级别的标注。

 

classification-based的模型像其他图像分类模型一样容易实现,因为是纯卷积所以训练、推理非常高效。

 

CSTR模型结构,ϕ为end token

我们的classification-based模型即CSTR,在六个常用的公开数据集上的效果如下表所示。

 

我们的模型没有STN模块,仅仅只有一个图像分类器,训练数据集为常用的两个合成的数据集SynthText (ST)和MJSynth (MJ), 仅使用单词级别的标注 ,测试的时候没用任何TTA,整体效果基本达到SOTA。

 

CSTR与业界经典模型指标比较

代码将在我们的文字识别工具箱 vedastr 中开源。

 

论文: https://arxiv.org/abs/2102.10884

 

代码: https://github.com/Media-Smart/vedastr

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注