Press "Enter" to skip to content

二分类问题 – 【老鱼学tensorflow2】

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

什幺是二分类问题?

 

二分类问题就是最终的结果只有好或坏这样的一个输出。

 

比如,这是好的,那是坏的。这个就是二分类的问题。

 

我们以一个电影评论作为例子来进行。我们对某部电影评论的文字内容为好评和差评。

 

我们使用IMDB 数据集,它包含来自互联网电影数据库(IMDB)的 50 000 条严重两极分化的评论。数据集被分为用于训练的 25 000 条评论与用于测试的 25 000 条评论,训练集和测试集都包含 50% 的正面评论和 50% 的负面评论。

 

加载数据集

 

import tensorflow.keras as keras
(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=10000)

 

参数 num_words=10000 的意思是仅保留训练数据中前 10 000 个最常出现的单词。低频单词将被舍弃。这样得到的向量数据不会太大,便于处理。

 

如果打印出数据结果,会发现x_train中的数据为:

 

x_train: [1, 14, 22, 16, 43, 530, 973, 1622,…]

 

y_train中的数据为:

 

y_train:[1 0 0 … 0 1 0]

 

解密数据

 

对于y_train中的数据我们比较容易猜出来,大概是0表示差评,1表示好评。

 

而x_train中的这串数字是啥意思呢?

 

其实这些是单词的索引,我们先通过如下的语句打印出单词中的索引内容:

 

data = keras.datasets.imdb.get_word_index()
print(data)

 

打印出的结果为:

 

‘pleasantvil’: 65027, ‘defininitive’: 65028, ‘reverent’: 44834, ‘gangland’: 22426,

 

也就是单词和索引号之间的映射关系。

 

在x_train中保存了25000条品论,而其中每条评论是一个数组,其中的内容是单词索引。

 

例如:

 

第一条评论x_train[0]为:

 

[1, 14, 22, 16, 43, 530, 973, …, 32]

 

第二条评论x_train[1]为:

 

[1, 194, 1153, 194, 8255, …, 95]

 

每条评论的长度也不一样。

 

如果想要解密评论的内容,只要根据前面的索引表来拼接出对应的单词就可以。

 

相应的代码为:

 

data = keras.datasets.imdb.get_word_index()
word_map = dict([(value,key) for (key,value) in data.items()])
words = []
for word_index in x_train[0]:
    words.append(word_map[word_index])
print(" ".join(words))

 

解密出的第一条评论为:

 

the as you with out themselves powerful lets loves their becomes …

 

准备数据

 

在x_train中保存的数据是评论单词的索引,而且我们这里只使用了前最常出现的10000个单词,在词向量中,我们需要把单词索引转换成one-hot编码,那为何要进行这样的转换呢?

 

我们知道,在进行深度学习的模型训练中,我们都用数字来进行计算,而在单词的表示中,原始数据用单词的索引号来进行了表达,如果直接把单词的索引号用于计算,其实是没有意义的,因为单词的索引号194和1153不存在大小比较和顺序的问题,因此在机器学习中我们经常会使用one-hot编码来表示某些单词或分类的向量问题,也就是你可以把所有的单词空间想象成一个向量,而其中的值只有0和1,每个句子都会包含所有的单词向量,如果在那个句子中包含了某些词,就在那个词向量的位置上置上1,没有包含这个词的就在那个词的位置上设置上0.

 

比如所有的词为:

 

当一个句子为:我爱学习,则这个词向量为:

 

所有词:我是中国爱学习人

 

句子:我 爱学习

 

词向量:[1,0,0,0,1,1,1,0]

 

那如何通过代码来实现这个词向量的转换呢?

 

首先我们想这是一个方法,这样可以对输入参数进行转换,假设这个方法名为:vectorize_sequence()

 

在调用时我们主要是对输入参数进行转换,因此其调用方式为:

 

x_train = vectorize_sequence(x_train)
x_test = vectorize_sequence(x_test)

 

这样我们来实现一下这个方法:

 

import numpy as np
def vectorize_sequence(data, words_size = 10000):
    words_vector = np.zeros((len(data), words_size))
    for row, word_index in enumerate(data):
        words_vector[row, word_index] = 1.0
    return words_vector

 

相对功能也是比较简单的,基本上就是首先初始化一个零矩阵:[输入参数的行, 词向量个数]

 

然后根据输入参数中对应的词索引所在位置置上值1就可以了。

 

构建模型

 

#构建模型
model = keras.models.Sequential()
model.add(keras.layers.Dense(16, activation=keras.activations.relu, input_shape=(10000, )))
model.add(keras.layers.Dense(16, activation=keras.activations.relu))
model.add(keras.layers.Dense(1, activation=keras.activations.sigmoid))
#编译模型
model.compile(optimizer=keras.optimizers.RMSprop(), loss=keras.losses.binary_crossentropy, metrics=[keras.metrics.binary_accuracy])
#训练模型
model.fit(x_train, y_train, epochs=20)

 

上面的代码比较简单直接。

 

只有几个地方需要说明一下的。

 

首先,keras中命名方式比较一致,比如这里的keras.models来选择模型,keras.layers来选择层,keras.activations来选择激活函数,keras.optimizers用来选择优化器,keras.losses选择损失函数等等,也就是用某个带复数s的单词来选择对应的功能。

 

有些文章中直接用字符串来设置这些参数,例如:activation=”relu”,optimizer=”rmsprop”,loss=’binary_crossentropy’等。

 

而由于我是通过IDEA来编写代码的,因此用代码的方式比较容易,因为编辑器会进行自动提示,也不需要记忆这些单词了。

 

在这里激活函数用于把线性函数转换成非线性函数。

 

这里的线性函数是指在神经网络中,其全连接的网络结构就是一个线性方程y=aX+b这样的一个形式。类似我们的人脑,我们人脑大概有6层,当我们接收到信息的刺激后,大脑皮层中的某些神经元会活跃起来,如果某些活跃强度不够的话,这些信号就不会传输到下一层的皮层中。因此这里的激活可以看成深度学习中的激活函数,我们这里使用了relu函数,其图像为

有点类似我们大脑中某神经元对于某信号的刺激太小的话,就一直处于睡眠状态,而如果此输入的信号激起了此神经元,则刺激的强度就跟输入信息的强度成正比。

 

更多的简单介绍激活函数可以参考tensorflow激励函数

 

还有一个地方需要注意的是在模型的最后一层我们使用 keras.layers.Dense(1, activation=keras.activations.sigmoid) ,由于我们最终的输出是一维数据,因此设置了一维输出结果,这里由于是二分类问题,因此最后一层的激活函数要用sigmoid,损失函数用binary_crossentropy(二元交叉熵)。

 

一般对于分类问题,最后一层的激活函数用softmax,损失函数用交叉熵

 

对于回归问题,最后一层激活函数用非sigmoid,损失函数用mean_squared_error(均方误差)。

 

这里稍微做个对比:

 

 

类型 激活函数 损失函数
二分类 sigmoid binary_crossentropy
多分类 softmax categorical_crossentropy
回归问题 mse

 

在测试集上进行测试

 

results = model.evaluate(x_test, y_test)
print(results)

 

输出为:

 

[1.221505075365305, 0.84568]

 

表示精确度为84.568%

 

预测

 

训练好网络之后,你希望将其用于实践。你可以用 predict 方法来得到评论为正面的可能性大小。

 

results = model.predict(x_test)
print(results)

 

输出为:

 

[[1.3547829e-01]
 [1.0000000e+00]
 [9.9999928e-01]
 ...
 [1.2173951e-03]
 [1.7526746e-04]
 [8.9666247e-04]]

 

这里的数值表示为如果接近1表示是好评,如果接近0表示是差评。

 

完整代码如下:

 

import tensorflow.keras as keras
(x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=10000)
# print("x_train:", x_train, "y_train:", y_train)
# data = keras.datasets.imdb.get_word_index()
# word_map = dict([(value, key) for (key,value) in data.items()])
# words = []
# for word_index in x_train[0]:
#     words.append(word_map[word_index])
# print(" ".join(words))
import numpy as np
def vectorize_sequence(data, words_size = 10000):
    words_vector = np.zeros((len(data), words_size))
    for row, word_index in enumerate(data):
        words_vector[row, word_index] = 1.0
    return words_vector
x_train = vectorize_sequence(x_train)
x_test = vectorize_sequence(x_test)
#构建模型
model = keras.models.Sequential()
model.add(keras.layers.Dense(16, activation=keras.activations.relu, input_shape=(10000, )))
model.add(keras.layers.Dense(16, activation=keras.activations.relu))
model.add(keras.layers.Dense(1, activation=keras.activations.sigmoid))
#编译模型
model.compile(optimizer=keras.optimizers.RMSprop(), loss=keras.losses.binary_crossentropy, metrics=[keras.metrics.binary_accuracy])
#训练模型
model.fit(x_train, y_train, epochs=20)
# 测试
results = model.evaluate(x_test, y_test)
print(results)
# 预测
results = model.predict(x_test)
print(results)

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注