Wikipediaの編集履歴をリアルタイムで取得する方法(node.js編)

概要

Wikipediaデータを利用して面白いことをできないか考え中な今日このごろ．
そこで今回はWikipediaの編集履歴をリアルタイムで取得できたら世の中のはやりがわかるのではと考えた．
ここではリアルタイムにWikipediaの編集履歴を取得する方法についてまとめる．

twitterデータを分析してみた その3(tf-idf法編)

概要

前回，Twitterデータ分析のため日付ごとのツイートのWordCountを計算した．fuji-151a.hatenablog.com

しかし，各日付の上位10件の単語が同じであり特徴がでない結果に終わった．
そこで特徴を出すために今回tf-idf法を用いる．その時にちゃんと特徴が出るか見てみる．
モチベーションなどはその1を参照してください．

twitterデータを分析してみた その2(Word Count編)

概要

モチベーションなどは前回の記事を参照してくださいfuji-151a.hatenablog.com
を参照

twitterデータを分析してみた その1(Tweet数編)

概要

昨年の秋(2014年10月)からtwitterのPublic Stream APIを用いて全量の1%のTweetを収集している．dev.twitter.com
しかし，ずっと貯めているだけで何も触っていなかったのでちょっとだけこのデータを利用しようと思う．
このデータを貯めている仕組みについては今度時間があったら紹介します．

Apache Kafkaについて(0.8系)

1年前にApache Kafkaについてざっくり紹介したことがあったが，
システム図が0.7系のままになっていたので今回ちょっと修正して
再度Kafkaについて書いてみる．

KafkaのCosumerAPIをJavaから叩いてみた

前回KafkaのProducerAPIをJavaで書いて動かしてみた．
KafkaのProducerAPIをJavaから叩いてみた - 技術メモ(仮)を参照
今回はJavaでKafkaConsumerのコードを書いてみた．

KafkaのProducerAPIをJavaから叩いてみた

前回Kafkaをインストールして動かしてみた．
Kafkaを動かしてみた - 技術メモ(仮)を参照．
前回は元から入っているshellscriptから呼び出したけど今回はJavaからKafkaにProduceを行ってみようと思う．
なのでJavaでKafkaProducerのコードを書いてみた．