Press "Enter" to skip to content

使用Chinese-Word-Vectors作为pytorch中的预训练向量

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

如何在深度学习中使用开源Chinese Word Vectors

 

摘要:Chinese-Word-Vectors开源项目提供了100多种预训练模型,但在深度学习中使用时,加载预训练向量存在词表重复项问题。本文着重于解决加载问题。

 

1. 起因

 

去年半年一直在搭建我的NLP练习项目—— 为语音识别文本进行标点恢复
,使用的技术如下所示:

词向量训练
BiLSTM
CRF

但是上面的技术在训练网络的时候,词向量是在训练中不断训练得到的。一方面这样的词向量更配合网络的结构,具有任务特定性;但是另一方面,受限于语料大小和计算资源,直接由自己的数据集训练出的词向量肯定是 不够泛化,不够强健的

 

2. Chinese-Word-Vectors技术方案存在的问题

 

时至今日,在2019年bert横扫NLP任务之后,使用 预训练模型
已经不再稀奇。使用预训练的模型可以用更少的训练资源得到较好的效果。即使是使用传统的word2vec也能有效提高模型的泛化性。

 

Chinese-Word-Vectors
是北京师范大学和人民大学的研究者开源出来的100多个中文预训练词向量,所有向量都是在word2vec和skip-gram上训练出来的。

 

久仰大名,码下很久,但是未尝亲自试用。亲自使用后,便发现了一些问题。

如何读取从 Chinese-Word-Vectors
下载下来的词向量?
读取时发现词表有重复,导致存入python字典中后,导致词表大小和训练好的词向量矩阵不一致?
读取到的词向量矩阵如何载入到深度学习模型的词嵌入矩阵embedding中?

果然纸上得来终觉浅,绝知此事要躬行。

 

3. 问题解决方式

 

 

    1. 词向量文件本身是以文本方式存储的,第一行是词向量size信息,后面每一行是每个词和它的词向量。通过使用

ngram2vec工具

    1. 中的代码可以加载词向量(Chinese-Word-Vectors也使用了ngram2vec工具来训练):

 

 

def load_dense(path):
    vocab_size, size = 0, 0
    vocab = {}
    vocab["i2w"], vocab["w2i"] = [], {}
    with codecs.open(path, "r", "utf-8") as f:
        first_line = True
        for line in f:
            if first_line:
                first_line = False
                vocab_size = int(line.strip().split()[0])
                size = int(line.rstrip().split()[1])
                matrix = np.zeros(shape=(vocab_size, size), dtype=np.float32)
                continue
            vec = line.strip().split()
            vocab["i2w"].append(vec[0])
            # vocab的length不断增长
            matrix[len(vocab["i2w"])-1, :] = np.array([float(x) for x in vec[1:]])
    for i, w in enumerate(vocab["i2w"]):
        vocab["w2i"][w] = i
    return matrix, vocab, size

 

 

    1. 词表重复问题,是实际加载词向量中遇到的比较麻烦的问题,重复的词表导致无法用字典来索引每个词对应的词向量,所以上一步的词向量加载,实际上应该考虑重复问题:

 

 

def load_dense_drop_repeat(path):
    vocab_size, size = 0, 0
    vocab = {}
    vocab["i2w"], vocab["w2i"] = [], {}
    count = 0
    with codecs.open(path, "r", "utf-8") as f:
        first_line = True
        for line in f:
            if first_line:
                first_line = False
                vocab_size = int(line.strip().split()[0])
                size = int(line.rstrip().split()[1])
                matrix = np.zeros(shape=(vocab_size, size), dtype=np.float32)
                continue
            vec = line.strip().split()
            if not vocab["w2i"].__contains__(vec[0]):
                vocab["w2i"][vec[0]] = count
                matrix[count, :] = np.array([float(x) for x in vec[1:]])
                count += 1
    for w, i in vocab["w2i"].items():
        vocab["i2w"].append(w)
    return matrix, vocab, size, len(vocab["i2w"])

 

 

    1. 如何将得到的此向量矩阵matrix载入到torch中的embedding中?(上一步中,为了减少每次读matrix的耗时,可以将matrix用numpy保存到npy文件):

 

 

emb = np.load(emb)
    print('emb的shape:', emb.shape)
    self.embedding = nn.Embedding(vocab_size, embedding_size)
    self.embedding.weight.data.copy_(torch.from_numpy(emb))
    self.embedding.weight.requires_grad = True

 

4. 总结

 

总的来看 Chinese-Word-Vectors
预训练数据是有其价值的,减少了很多的训练资源。但是由于自然语言处理的文本本身具有非常大的噪声,很难保证词向量是完美的、不包含任何错字和重复。

 

在使用 Chinese-Word-Vectors
过程中,尽量要匹配好自己的需求。

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注