word2vecをインストールして実行してみる
こんにちは
自然言語処理に興味のあるhashtakeです
word2vecをとりあえずインストールして実行してみました
わかち書きとか学習とか、こんがらがってきたので一度整理するという意味で、とりあえずword2vecをインストールして動かすところまでやってみました。
結果、わかち書きがどんなものなのか、どんなコマンドを実行してword2vecを実行できる状態にするかが分かったのでよかったです
助けられました
オプションの意味の説明があります
ポイント
とかとか。
次は、日本語の解析に入れそう
楽しみです
word2vecに学習させる
mecabにwikipediaとはてなキーワードを理解させる
word2vecの理解を深めるスライド
word2vecで出来る事
こんにちは
自然言語処理に興味のあるhashtakeです
word2vecで出来る事ってなんだろう
という疑問から、何ができるか調べてみました
以下なるほどなという部分の抜粋です
Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。
その結果、今まで分からなかったり精度を向上するのが難しかった単語同士の類似度や、単語間での加算・減算などができるようになり、単語の「意味」を捉えられるようになった。
mecab - 米googleの研究者が開発したWord2Vecで自然言語処理(独自データ) - Qiita
「同じ文脈で利用される単語は、同じ意味を持つ」という仮説に基づき、「単語」の特徴をベクトルで表現する技術となっている。
意味的に近い単語は、空間上で近くに存在するベクトルとして表現されることから、類義語の抽出に用いられている。また、ベクトルで表現されるため、単語同士の引き算や足し算が可能なことが興味深い技術である。
Apache Sparkで始めるお手軽機械学習(Word2Vec編) | NTTデータ先端技術株式会社
なるほど、すごそうですね
単語をベクトルで表現できるという事は、文章をベクトルで表現できるという事ですよね、ベクトルね
word2vecでできる事→精度の高い文章の解析。という事でしょうか
楽しそうです
