RNN概要
LSTMについての説明が中心。 RNNのRがrecurrentの頭文字であることからも表されるように、RNNは同じネットワークを繰り返して前のネットワークで学習した結果の一部を後続のネットワークに渡すようなことをしています。それは前のネットワークの情報も現在のネットワークで使えるからいいよねって話なのですが、場合によっては直前の情報だけじゃなくて結構前のネットワークの情報も使いたいわけです。それをいい感じにやってくれるのがLSTMというわけです。以下の記事がこのあたりの説明をもっとちゃんと、詳しくしてくれてる記事です。 最近のアテンションというやつについても機会があればまとめたいところです。
Tensorflow tutorialにgreat articleとして紹介されてた記事。
Understanding LSTM Networks -- colah's blog
(日本語翻訳) qiita.com
かなり詳しくて分かりやすい qiita.com
Tensorflowのチュートリアル
Text generation with an RNN | TensorFlow Core
Word2Vec
word2vecを使えば文章から単語のベクトル表現が出来て、単語の特徴が分かるよという認識です。 その中のアルゴリズムとしてcbowとskip-gramがあるよという感じです。 (word to vec ですもんね。文字をベクトルにってことですね)
word2vec、cbow、skip-gramが簡潔に説明されていてよい。 http://resola.ai/dev/2016/06/10/word2vec-2/resola.ai
skip-gramについて詳しめに丁寧な説明。 qiita.com
