概要 Wikipediaデータを利用して面白いことをできないか考え中な今日このごろ. そこで今回はWikipediaの編集履歴をリアルタイムで取得できたら世の中のはやりがわかるのではと考えた. ここではリアルタイムにWikipediaの編集履歴を取得する方法についてま…
概要 前回,Twitterデータ分析のため日付ごとのツイートのWordCountを計算した.twitterデータを分析してみた その2(Word Count編) - 技術メモ(仮) fuji-151a.hatenablog.comしかし,各日付の上位10件の単語が同じであり特徴がでない結果に終わった. そこで…
概要 モチベーションなどは前回の記事を参照してくださいtwitterデータを分析してみた その1(Tweet数編) - 技術メモ(仮) fuji-151a.hatenablog.com を参照
概要 昨年の秋(2014年10月)からtwitterのPublic Stream APIを用いて全量の1%のTweetを収集している.Public streams | Twitter Developersdev.twitter.com しかし,ずっと貯めているだけで何も触っていなかったのでちょっとだけこのデータを利用しようと思う…
1年前にApache Kafkaについてざっくり紹介したことがあったが, システム図が0.7系のままになっていたので今回ちょっと修正して 再度Kafkaについて書いてみる.
前回KafkaのProducerAPIをJavaで書いて動かしてみた. KafkaのProducerAPIをJavaから叩いてみた - 技術メモ(仮)を参照 今回はJavaでKafkaConsumerのコードを書いてみた.
前回Kafkaをインストールして動かしてみた. Kafkaを動かしてみた - 技術メモ(仮)を参照. 前回は元から入っているshellscriptから呼び出したけど今回はJavaからKafkaにProduceを行ってみようと思う. なのでJavaでKafkaProducerのコードを書いてみた.
Apache Kafkaを実際に動かしてみた. Kafkaって何?って方はApache Kafkaについて - 技術メモ(仮)を参照してくれると嬉しい. 今回はproduceとconsumeの挙動を見てみた.
今回,Apache Kafkaついて少し書いてみたいと思う. 自分の理解がどれほどのものか確かめるため,あとメモ的な意味. Rubyはどこいったとか,Javaどうしたとかお構いなし.
最近パーフェクトRubyという本を買った. 色んな人やブログからこのパーフェクトシリーズと言うのは好評である. 他にもJavaScriptやJava,C#にPython,PHPなどが存在する. 今回はこのパーフェクトRubyで僕が知らなかったことを簡単にまとめる. 知っている…
今日は研究とかに使う手法の話をしようと思います. 今日はクラスタリングという手法について説明します.
前回はJavaでMeCabを動かせるようにした. それを用いてTFを算出しようかな考えた. しかし,そもそもTFってなに?から始まると思う. 主にtf-idf法で用いられる.特徴語を算出する方法. 今回はこのtf値とidf値.すなわちtf-idf法について説明したいと思う.
コンパイルっていう単語とビルドっていう単語は何が違うのか? ていうか今までそれがわからないまま生きてきた自分が恥ずかしい... 今回両者の違いを調べてみた.
今回は以前インストールした形態素解析器MeCabをJavaから実行できるようにする.
今回は形態素解析器のMeCabをインストールした.
Javaで文字列結合する場合,+演算子を用いるやStringBuilderクラスを用いるなどがあります.この2つは何が違うの?
まだブログの名前もないけどとりあえず開設してみた. 初めまして,fuji_151aです.現在Web系の会社でエンジニアをしております. このブログでは自分がInputしたITの知識のOutputの場として使っていけたらいいなと考えております.週一回でも更新出来たらい…