最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
pytorch预训练的词向量用法代码解析
时间:2020-01-06 编辑:袖梨 来源:一聚教程网
本篇文章小编给大家分享一下pytorch预训练的词向量用法代码解析,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看。
如何在pytorch中使用word2vec训练好的词向量
torch.nn.Embedding()
这个方法是在pytorch中将词向量和词对应起来的一个方法. 一般情况下,如果我们直接使用下面的这种:
self.embedding = torch.nn.Embedding(num_embeddings=vocab_size, embedding_dim=embeding_dim) num_embeddings=vocab_size 表示词汇量的大小 embedding_dim=embeding_dim 表示词向量的维度
这种情况下, 因为没有指定训练好的词向量, 所以embedding会帮咱们生成一个随机的词向量(但是在刚刚测试的一个情感二分类问题中, 发现好像用不用预训练的词向量, 结果差不多, 不过不排除是因为当时使用的模型比较简单, 导致一些特征根本就没提取出来).
如果想使用word2vec预训练好的词向量该怎么做呢?
其实很简单,pytorch已经给我们提供好了接口
self.embedding.weight.data.copy_(torch.from_numpy(embeding_vector)) self.embedding.weight.requires_grad = False
上面两句代码的意思, 第一句就是导入词向量, 第二句表示的是在反向传播的时候, 不要对这些词向量进行求导更新. 但看到有人会在优化器那里使用这样的代码:
# emotion_net是我定义的模型 optimizer = torch.optim.Adam(filter(lambda p: p.requires_grad, emotion_net.parameters()), lr=1e-3, betas=(0.9, 0.99))
大概意思也是为了保证词向量不会被反向传播而更新, 具体有没有用就不清楚了.
其实感觉大家比较在意的应该是embeding_vector的形式, 下面介绍一下embeding_vector的形式
为了讲述方便, 这里定义出下面几个矩阵
embeding_vector:表示词向量,每行是一个词的词向量,有多少行就说明有多少单词
word_list:表示单词列表,里面就是单词
word_to_index:这个矩阵将word_list中的单词和embeding_vector中的位置对应起来
其实embeding_vector是一个numpy矩阵, 当然你看到了, 实际输入到pytorch的时候, 是需要转换成tensor类型的. 这个矩阵是什么样子的呢? 其中这个矩阵是 [vocab_size×embeding_dim] [vocab_size times embeding_dim][vocab_size×embeding_dim] 的形式. 其中一共包含vocab_size vocab_sizevocab_size 个单词, 每个单词的维度是 embed_dim embed_dimembed_dim, 我们把这样一个矩阵输入就行了.
之后, 我们要做的其实就是将 word_to_index word_to_indexword_to_index 这个矩阵搞出来, 这里的单词转下标的矩阵, 就是联系 embeding_vector embeding_vectorembeding_vector 和 word_list word_listword_list 这两个矩阵的中间者. 我们在输入到torch.nn.Embedding中之前, 需要先通过 word_to_index word_to_indexword_to_index 将单词转换成 embeding_vector embeding_vectorembeding_vector 的下标就可以了.
相关文章
- Golang ProtoBuf的基本语法详解 10-20
- Python识别MySQL中的冗余索引解析 10-20
- Python+Pygame绘制小球代码展示 10-18
- Python中的数据精度问题介绍 10-18
- Python随机值生成的常用方法介绍 10-18
- python3解压缩.gz文件分析 09-27