nn.Embeddingの使い方(pytorch)

■説明
文章を構成する単語をベクトル化表現します。これを単語の埋め込みといいます。例えば「今日は晴れ」という文章の単語を埋め込む場合、以下のように品詞ごとに分解してIDを付け、one hot表現します。

embedded層は以下のようにパーセプトロンの演算となります。例えば「晴れ」という単語に対しては、入力層の3つ目のノードに1を入力してパーセプトロンの演算をして出力します。

■具体例
パーセプトロンの重みの初期値はランダムです。実際に使う場合は、学習によって重みの値を更新していきます。

import torch
import torch.nn as nn

vocab_size = 3
embed_dim = 4

embed = nn.Embedding(vocab_size, embed_dim)
emb = embed(torch.tensor([2]))     # 入れる数値はvocab_size(0～2)まで
print(emb)

⇒ tensor([[-0.4139, 0.4187, 1.4098, 0.1499]], grad_fn=＜EmbeddingBackward＞)

emb = embed(torch.tensor([2,1]))     # 複数の数値を入れることも可能
print(emb)

⇒ tensor([[ 0.5731, 0.6799, 0.0471, 0.9301],
                [ 0.9365, -1.6096, 2.3542, 0.2670]], grad_fn=＜EmbeddingBackward＞)

サブチャンネルあります。⇒ 何かのお役に立てればと

関連記事一覧

トップメニュー

Python

Pythonとは

基本的な使い方
・IDLE
・Jupyter Notebook
・Markdown
・コマンドプロンプトで実行
・仮想環境の構築
・仮想環境でIDLEを実行

ライブラリのインストール
・pipの使い方
・numpy , matplotlib等
・graphviz
・pytorch
・Mecab

Pythonの関数：一覧

scipy
・expit
・imread
・interpolate

matplotlib
・imshow
・figure
・pcolormesh
・plot
・scatter

scikit-learn
・GaussianNB
・KMeans
・KNeighborsClassifier
・SVC
・tree

keras

chainer

chainerrl

pytorch
・BCELoss , MSELoss
・Embedding
・device
・Sequential
・Dataset, Dataloader
・RNN, LSTM

OpenAI gym
・Blackjack-v0
・CartPole-v0

tkinter
・frame, grid
・画像表示
・画像を切り取り表示
・画像を保存

目的別
・ステップ関数
・1 of K 符号化法
・線形補間
・配列に番号をつける