ほろ酔い開発日誌

Web開発、機械学習を中心とした技術を発信するブログです。Web開発はサーバー・インフラ周り、機械学習は特にComputer Visioin系が好きです。ただし、記事の内容はそういった内容に限定はせず、ビジネス的考察や技術外のエンジニア周りの話題等を含みます。

RNNやWord2Vec関連のリンクの備忘録

RNN概要

LSTMについての説明が中心。 RNNのRがrecurrentの頭文字であることからも表されるように、RNNは同じネットワークを繰り返して前のネットワークで学習した結果の一部を後続のネットワークに渡すようなことをしています。それは前のネットワークの情報も現在のネットワークで使えるからいいよねって話なのですが、場合によっては直前の情報だけじゃなくて結構前のネットワークの情報も使いたいわけです。それをいい感じにやってくれるのがLSTMというわけです。以下の記事がこのあたりの説明をもっとちゃんと、詳しくしてくれてる記事です。 最近のアテンションというやつについても機会があればまとめたいところです。

Tensorflow tutorialにgreat articleとして紹介されてた記事。

Understanding LSTM Networks -- colah's blog

(日本語翻訳) qiita.com

かなり詳しくて分かりやすい qiita.com

Tensorflowのチュートリアル

Recurrent Neural Networks  |  TensorFlow

Sequence-to-Sequence Models  |  TensorFlow

Word2Vec

word2vecを使えば文章から単語のベクトル表現が出来て、単語の特徴が分かるよという認識です。 その中のアルゴリズムとしてcbowとskip-gramがあるよという感じです。 (word to vec ですもんね。文字をベクトルにってことですね)

word2vec、cbow、skip-gramが簡潔に説明されていてよい。 resola.ai

skip-gramについて詳しめに丁寧な説明。 qiita.com