「Cloudera　World　Tokyo 2015」に行ってきました

先日、東京で開催された「Cloudera　World　Tokyo 2015」に行ってきました！

と、去年も書いた記憶がありますが今年も書きます。

そして今年もカステラは貰えませんでした…

全体的なテーマとして最近よく耳にする「IoT」がキーワードになっていましたが
個人的には「Spark」についての話が気になりました。

「Spark」は「MapReduce」に代わるもので次世代エンジンとして注目されています。

ただ、「MapReduce」から「Spark」にすぐに置き換えられるわけではなく
「MapReduce」はゆっくりと死んでいくだろうと言われています。

まだ「Spark」は使ったことがないのですが、

「Spark」の特徴として、インメモリ処理であること。
（すべてがメモリだけというわけではないようですが…）

そして、RDD（Resilient Distributed Dataset）という複数のマシンが連携して、
メモリー上にデータを保持する仕組みがあり、機械学習などの繰り返し処理を
高速に行うことができる。

なので「MapReduce」と比べて100倍も速くなる場合があるそうです。

ここまで速くなるとちょっとついていけなくなりそうです…

「ビッグデータ活用第二世代」
（これは「Cloudera　World　Tokyo 2015」で言われていた言葉なのですが）
ビッグデータ活用の「第二世代」が到来したようです。

「Spark」の他にも、HDFSとHBaseを補完する「kudu」があったりと
次々と新しい技術が登場しているので、今の時代に取り残されないようにしたいですね。