Press "Enter" to skip to content

【深度学习】基于卷积神经网络的验证码识别

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

目录

 

关于环境这里不再赘述,与 【深度学习】基于卷积神经网络的天气识别训练 文中的环境一致,如还是配置不成功,请看该文章末尾的详细包配置。

 

了解captcha数据集

 

这里面包含了1070张手写验证码图片。并以正常的验证码作为图片的名称。所以后期需要手动进行拆分测试集和验证集,以及需要手动提取所有图片名称中的的验证码。

 

下载weather_photos数据集

 

可以私信我发你(因为该数据集已经被上传到csdn了,所以不能重复上传哦)

 

采用CPU训练还是GPU训练

 

一般来说有好的显卡(GPU)就使用GPU训练因为 快 ,那幺对应的你就要下载tensorflow-gpu包。如果你的显卡较差或者没有足够资金入手一款好的显卡就可以使用CUP训练。

 

(1)CPU主要用于串行运算;而GPU则是大规模并行运算。由于深度学习中样本量巨大,参数量也很大,所以GPU的作用就是加速网络运算。

 

(2)CPU计算神经网络也是可以的,算出来的神经网络放到实际应用中效果也很好,只不过速度会很慢罢了。而目前GPU运算主要集中在矩阵乘法和卷积上,其他的逻辑运算速度并没有CPU快。

 

使用CPU训练

 

# 使用cpu训练
import os
os.environ["CUDA_VISIBLE_DEVICES"] = "-1"

 

使用CPU训练时不会显示CPU型号。

 

使用GPU训练

 

gpus = tf.config.list_physical_devices("GPU")
if gpus:
    gpu0 = gpus[0]  # 如果有多个GPU,仅使用第0个GPU
    tf.config.experimental.set_memory_growth(gpu0, True)  # 设置GPU显存用量按需使用
    tf.config.set_visible_devices([gpu0], "GPU")

 

使用GPU训练时会显示对应的GPU型号。

 

支持中文

 

使用 import matplotlib.pyplot as plt 导入库,。plt是代表画图的库。库内的配置(configuration)是固定好的,但有时我们想要修改plt的配置参数来满足画图需求。

 

可用 plt.rcParams['配置参数']=[修改值] 进行修改,rcParams即(run configuration parameters)运行配置参数。

 

plt.rcParams['font.sans-serif'] = ['SimHei'] #运行配置参数中的字体(font)为黑体(SimHei)
plt.rcParams['axes.unicode_minus'] = False #运行配置参数总的轴(axes)正常显示正负号(minus)

 

导入数据

 

这里我们见numpy的随机种子和tf的随机种子设为固定值,让训练的结果尽量稳定。这里将本地存放数据集的路径给到data_dir变量中。

 

import matplotlib.pyplot as plt
import PIL
# 设置随机种子尽可能使结果可以重现
import numpy as np
np.random.seed(1)
# 设置随机种子尽可能使结果可以重现
tf.random.set_seed(1)
from tensorflow import keras
from tensorflow.keras import layers, models
import pathlib
data_dir = "E:\\PythonProject\\day6\\data\\captcha\\"
data_dir = pathlib.Path(data_dir)
# 提取所有照片的路径
all_image_paths = list(data_dir.glob('*'))
all_image_paths = [str(path) for path in all_image_paths]
# 打乱数据  因为文件默认按照文件名的字母排序,所以需要打乱顺序
random.shuffle(all_image_paths)
# 获取数据标签  通过拆分图片名称的后缀见所有的验证码字符串提取出来
# 验证码长度是5位,且都已.png结尾 然后进行拆分
all_label_names = [path.split("\\")[5].split(".")[0] for path in all_image_paths]

 

查看数据量

 

image_count = len(all_image_paths)
print("图片总数为:", image_count)

 

显示部分图片

 

绘制前20张,每行5个共四行。

 

from matplotlib import pyplot as plt
plt.figure(figsize=(10, 5))
for i in range(20):
    plt.subplot(4, 5, i + 1)
    plt.xticks([])
    plt.yticks([])
    plt.grid(False)
    # 显示图片
    images = plt.imread(all_image_paths[i])
    plt.imshow(images)
    # 显示标签
    plt.xlabel(all_label_names[i])
plt.show()

 

绘制结果:

 

手动设置标签

 

设计一个数组用来存放验证码中出现所有的数字+字符。

 

number = ['0', '1', '2', '3', '4', '5', '6', '7', '8', '9']
alphabet = ['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u',
            'v', 'w', 'x', 'y', 'z']
char_set = number + alphabet
char_set_len = len(char_set)
label_name_len = len(all_label_names[0])
def text2vec(text):
    vector = np.zeros([label_name_len, char_set_len])
    for i, c in enumerate(text):
        idx = char_set.index(c)
        vector[i][idx] = 1.0
    return vector
all_labels = [text2vec(i) for i in all_label_names]

 

直接看代码可能有点迷糊,下面这个图就是最后的效果,相当于是个三维数组,第一维度表示每张图片,第二维度表示多个字符集,第三维度表示每位的验证码应该是什幺字符,有在对应的位置上是0,无则0。

 

灰度化处理

 

灰度化,在RGB模型中,如果R=G=B时,则彩色表示一种灰度颜色,其中R=G=B的值叫灰度值,因此,灰度图像每个像素只需一个字节存放灰度值(又称强度值、亮度值),灰度范围为0-255。公式如下:

 

平均值法

 

将彩色图像中的三分量亮度求平均得到一个灰度图。本文就采用的是平均值法处理的的照片。

 

下图就是以平均法进行灰度化。左边是原图,右边是灰度化后的图片。

 

加权平均法

 

此方法是根据之前某段时间内的观测值作为基础,用它来预算将来此值可能的走向的一种方法。

 

下图就是以平均法进行灰度化。左边是原图,右边是灰度化后的图片。

 

cvtColor

 

OpenCV的API cvtColor函数也可以实现灰度化处理。下图就是以平均法进行灰度化。左边是原图,右边是灰度化后的图片。

 

加载数据

 

这里使用的是from_tensor_slices 方法。该函数是dataset核心函数之一,它的作用是把给定的元组、列表和张量等数据进行特征切片。切片的范围是从最外层维度开始的。如果有多个特征进行组合,那幺一次切片是把每个组合的最外维度的数据切开,分成一组一组的。

 

AUTOTUNE = tf.data.experimental.AUTOTUNE
path_ds  = tf.data.Dataset.from_tensor_slices(all_image_paths)
image_ds = path_ds.map(load_and_preprocess_image, num_parallel_calls=AUTOTUNE)
label_ds = tf.data.Dataset.from_tensor_slices(all_labels)
image_label_ds = tf.data.Dataset.zip((image_ds, label_ds))
# 拆分数据集 将前1000个作为训练集 剩余的作为测试集
train_ds = image_label_ds.take(1000) 
val_ds   = image_label_ds.skip(1000)

 

配置数据集(加快速度)

 

shuffle ():该函数是将列表的所有元素随机排序。 有时候我们的任务中会使用到随机sample一个数据集的某些数,比如一个文本中,有10行,我们需要随机选取前5个。

 

prefetch ():prefetch是预取内存的内容,程序员告诉CPU哪些内容可能马上用到,CPU预取,用于优化。

 

BATCH_SIZE = 16
train_ds = train_ds.batch(BATCH_SIZE)
train_ds = train_ds.prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.batch(BATCH_SIZE)
val_ds = val_ds.prefetch(buffer_size=AUTOTUNE)

 

建立CNN模型

 

这里的模型与前几篇的大致相同,就不做过多介绍了。

 

from tensorflow.keras import datasets, layers, models
model = models.Sequential([
    
    layers.Conv2D(32, (3, 3), activation='relu', input_shape=(50, 200, 1)),
    layers.MaxPooling2D((2, 2)),                   
    layers.Conv2D(64, (3, 3), activation='relu'),  
    layers.MaxPooling2D((2, 2)),                   
    
    layers.Flatten(),                              
    layers.Dense(1000, activation='relu'),         
    
    layers.Dense(label_name_len * char_set_len),
    layers.Reshape([label_name_len, char_set_len]),
    layers.Softmax()                               
])
model.summary()  # 打印网络结构

 

网络结构

 

包含输入层的话总共10层

 

总共参数为33M,参数量更加庞大但是数据集不是很多问题不大。建议采用GPU训练。

 

Total params: 33,991,996
Trainable params: 33,991,996
Non-trainable params: 0

 

训练模型

 

训练模型,进行10轮。

 

# 设置优化器
model.compile(optimizer="adam",
              loss='categorical_crossentropy',
              metrics=['accuracy'])
epochs = 10
history = model.fit(
    train_ds,
    validation_data=val_ds,
    epochs=epochs
)

 

训练结果:10轮下来测试集的正确率仅有78.57%,可见还有很大的优化空间。

 

模型评估

 

对训练完模型的数据制作成曲线表,方便之后对模型的优化,看是过拟合还是欠拟合还是需要扩充数据等等。

 

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs_range = range(epochs)
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

 

运行结果:

 

这里我们对训练好的模型进行一个预处效果,下面以6张图片为例,进行测试。

 

def vec2text(vec):
    text = []
    for i, c in enumerate(vec):
        text.append(char_set[c])
    return "".join(text)
plt.figure(figsize=(8, 8))
for images, labels in val_ds.take(1):
    for i in range(6):
        ax = plt.subplot(5, 2, i + 1)
        # 显示图片
        image = tf.reshape(images, [16, 50, 200])
        plt.imshow(image[i])
        # 需要给图片增加一个维度
        img_array = tf.expand_dims(images[i], 0)
        # 使用模型预测验证码
        predictions = model.predict(img_array)
        plt.title(vec2text(np.argmax(predictions, axis=2)[0]))
        plt.axis("off")
plt.show()

 

可以看到错误率还是挺高的,还需进一步改善模型。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。