自然言語処理ブログ

自然言語処理をマーケティングに役立てたいブログです

chainer学習記録6

土日でchainerの本を読み漁り 改めてじっくり読み返すと前より理解できる部分があり、知識がつながった感じがしてとても理解力が深まった 畳込みってこういう事かー ニューラルネットワークの流れ把握したわ 繰り返す事で特徴を抽出して、フィルターに反映し…

chainer学習記録5

chainerで会話するボットみたいなソースを動かした その派生でターミナルからコマンドを叩くと会話の返事が返ってくるようにした しかし、ターミナルからのコマンドだと前後の文脈がわからないのではと気づく どうすればいいのか

chainer学習記録4

Chainer-Slack-Twitter-Dialogueを動かす事を頑張りました testまで動いたっぽくうれしいです Slackでリクエストを送るようになっているけど、サーバー上で会話できないかプログラムを探し中

chainer学習記録3

chainerでRNNで文章を教師有りで分類するプログラムを書き、ただ今試し中 何か分類したいなと思い、ラーメンを食べたい人とそうで無い人を判定するシステムにしました 教師データを集めるために、ブラウザベースで教師データを生成できるシステムを組みまし…

chainer学習記録2

chainer-ptb.pyの延長で、2つの文章を入力して、 類似度を返す的な事をやりたいなと思い やりかた探し中・・・ モデルを読み込んで文章をベクトルにする方法ってなかったっけなと思い あるのだろうけど、基礎的な知識がないから対応できないんだろうな

chainer学習記録1

chainerのchainer-ptbをやってみました ニュース媒体のツイートを適当に集めて、その中から3000ツイートを学習させてみました 期待としてはgentxtすると、ツイートっぽい文字が出て来て欲しいなあと思って。 CPU8Gのサーバーで学習させました。12時間…

機械学習勉強記録5

土日で機械学習の本を買いあさり読みあさり、ネットもQiitaも読みあさりました なぜ機械学習によって画像が分類できるのかがぼんやり分かって来た気がする 全体の輪郭が分かってくると、細部が気になり出す なぜソフトマックス関数が出てくるのか 確立にでき…

機械学習勉強記録4

chainerにツイッターを学習させたところ、 train3000ツイート test300ツイート valid300ツイート 学習させようとして、10時間くらいかかりそうだったので、 AmazonのGPUにしようと決めました。

機械学習勉強記録3

やっとchainer-ptbでgentext.pyができた。 機械学習した文章が表示された。 全く意味のわからない文章だけど、感慨深し。。

機械学習勉強記録2

やっとchainer-ptbを動かす事ができました。 しかし、sakura vpsの8Gだと時間がかかりすぎる。。 学習み1日くらいかかりそう。 AWSのGPUを試す時がきたか・・・

機械学習勉強記録

chainerのptbをいじるというところまでこぎつけた。。 全く知識のない状態から勉強する場合、 1. kmeansのサンプルを動かす 2. qiitaの機械学習の記事を見まくる 3. 機械学習の本をパラパラ読む などするとサンプルのコードをなんとなく見れる程度には知識が…

さくらvpsにmecabをインストールしてpythonから使えるようにする

件名の通りです、調べるとpythonからmecabを使えるようにするのは、ひとクセありそうでして。いろいろつまづいた結果、下記だとすんなり入りそうでした rpm -ivh http://packages.groonga.org/centos/groonga-release-1.1.0-1.noarch.rpmyum install mecab m…

さくらVPSのcentos6にfasttextをインストールする

タイトルの通りなのですが、少しはまりました。 インストールしたサーバーはcentos6をインストールして特に設定をしてないサーバーです。 手順としては git clone make easy_install cython pip install fasttext の4手順でインストールできるみたい。カン…

sakuraのVPSにchainerを入れる

pythonは2.7にする事 pipも2.7にする事 などまあまあはまりました centosは6.7で入れました qiita.com

sakuraのvpsにtensorflowを入れた

こんにちは、お久しぶりです。 hashtakeです。 最近、Bot界隈が盛り上がっていますね。慌ててtensorflowをsakuraにインストールしてみた次第でございます。 結果から言いますと、centos7にするとスムーズにインストールできました。 ネットで見つかるブログ…

word2vecをインストールして実行してみる

こんにちは 自然言語処理に興味のあるhashtakeです word2vecをとりあえずインストールして実行してみました わかち書きとか学習とか、こんがらがってきたので一度整理するという意味で、とりあえずword2vecをインストールして動かすところまでやってみました…

word2vecに学習させる

こんにちは 自然言語処理に興味のあるhashtakeです word2vecを扱うには「学習」させる必要があるらしいですよ word2vecで利用する「モデル」を作るために、mecabの「わかち書き」で「学習」させるのです モデルは解析の元になるもの、学習はword2vecのコマン…

mecabにwikipediaとはてなキーワードを理解させる

こんにちは めかぶは鰹節と醤油を少しいれて食べます word2vecで解析するのに、mecabが必要でさらに名詞などを理解させる必要があります。素のmecabだと新しくできた名詞など上手に解析できないのですね。 sugamasao.hatenablog.com こちら参考にやったらそ…

word2vecの理解を深めるスライド

こんにちは 自然言語処理に興味のあるhashtakeです word2vecでチュートリアルを始めようとググっておりましたら、理解が深まりそうなブログを見つけました。CA様ありがとうございます。 adtech.cyberagent.io 数式でてくるとえげつないです 次はチュートリア…

word2vecで出来る事

こんにちは 自然言語処理に興味のあるhashtakeです word2vecで出来る事ってなんだろう という疑問から、何ができるか調べてみました 以下なるほどなという部分の抜粋です Word2Vecでは各単語を200次元くらいの空間内におけるベクトルとして表現する。 その結…

word2vecで始める自然言語処理

こんにちは 自然言語処理に興味のあるhashtakeです 自然言語処理についてあれこれ調べた事をまとめるよ よろしくね 始めに読む参考サイト qiita.com bugrammer.hateblo.jp qiita.com 楽しそうです