自然言語処理ブログ

自然言語処理をマーケティングに役立てたいブログです

word2vecで出来る事

こんにちは

自然言語処理に興味のあるhashtakeです

 

word2vecで出来る事ってなんだろう

という疑問から、何ができるか調べてみました

以下なるほどなという部分の抜粋です

Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。

その結果、今まで分からなかったり精度を向上するのが難しかった単語同士の類似度や、単語間での加算・減算などができるようになり、単語の「意味」を捉えられるようになった。

mecab - 米googleの研究者が開発したWord2Vecで自然言語処理(独自データ) - Qiita

 

「同じ文脈で利用される単語は、同じ意味を持つ」という仮説に基づき、「単語」の特徴をベクトルで表現する技術となっている。

意味的に近い単語は、空間上で近くに存在するベクトルとして表現されることから、類義語の抽出に用いられている。また、ベクトルで表現されるため、単語同士の引き算や足し算が可能なことが興味深い技術である。

Apache Sparkで始めるお手軽機械学習(Word2Vec編) | NTTデータ先端技術株式会社

 

なるほど、すごそうですね

単語をベクトルで表現できるという事は、文章をベクトルで表現できるという事ですよね、ベクトルね

word2vecでできる事→精度の高い文章の解析。という事でしょうか

 

楽しそうです