KEIS BLOGは株式会社ケイズ・ソフトウェアが運営しています。

KEIS BLOG

「Cloudera World Tokyo 2015」に行ってきました

LINEで送る
Pocket

先日、東京で開催された「Cloudera World Tokyo 2015」に行ってきました!

anai001

と、去年も書いた記憶がありますが今年も書きます。

そして今年もカステラは貰えませんでした…

全体的なテーマとして最近よく耳にする「IoT」がキーワードになっていましたが
個人的には「Spark」についての話が気になりました。

「Spark」は「MapReduce」に代わるもので次世代エンジンとして注目されています。

ただ、「MapReduce」から「Spark」にすぐに置き換えられるわけではなく
「MapReduce」はゆっくりと死んでいくだろうと言われています。

まだ「Spark」は使ったことがないのですが、

「Spark」の特徴として、インメモリ処理であること。
(すべてがメモリだけというわけではないようですが…)

そして、RDD(Resilient Distributed Dataset)という複数のマシンが連携して、
メモリー上にデータを保持する仕組みがあり、機械学習などの繰り返し処理を
高速に行うことができる。

なので「MapReduce」と比べて100倍も速くなる場合があるそうです。

ここまで速くなるとちょっとついていけなくなりそうです…

「ビッグデータ活用第二世代」
(これは「Cloudera World Tokyo 2015」で言われていた言葉なのですが)
ビッグデータ活用の「第二世代」が到来したようです。

「Spark」の他にも、HDFSとHBaseを補完する「kudu」があったりと
次々と新しい技術が登場しているので、今の時代に取り残されないようにしたいですね。

【関連記事】
3分で構築するRuby on Rails開発環境
続・3分で構築するRuby on Rails開発環境~MySQL設定編~
フラットデザインとレスポンシブデザイン
「Cloudera World Tokyo 2014」に行ってきました
Code Avengers(コードアベンジャーズ)
paizaでスキルチェック ~オンラインハッカソンに挑戦~
そしてスーパープログラマーへ
Hackmeに挑戦!
Railsで作るAPI
Ruby on Rails -turnout-
Ruby on Rails -migration-
Windows 10にアップグレードしてみました
Windows 神モード
Ruby on rails -slim-
WindowsでVimを使う(1)

LINEで送る
Pocket