Hadoop / Spark Conference Japan 2016 行ってきた ｜ Advent Calendar 2016

IT系の勉強会行ってきた Advent Calendar 2016 - Adventar の3日目！

業務では一度も使ったことのないHadoop！
それ故に理解度が足りず、メモが間違っていたらごめんなさい。

ご挨拶、Hadoopを取り巻く環境2016

• 今年でHadoopは10週年、今回はSparkも合わせて開催
• 最近はHadoopがそろそろ終わってきた、何がHadoopがわからん
• 周辺に色んな処理技術が登場
• 並列分散処理はまだまだ進化・変化・浸透

Hadoopの現在と未来

• Hadoopとは、並列分散処理を実現するミドルウェア
• 最近はGPGPUやFPGAにも対応して最適化を進めてる
• YARNは普通に使われるくらい普及してきつつある

Yahoo! JAPANのデータプラットフォームの全体像と未来

• 6000Noteds, 120PByte
• Tezの導入が本格化

Hadoopのストレージの現状と展望

英語のプレゼンだったけど資料がいい感じだった。Hadoopの歴史

Spark 2.0: What's Next

Apache Spark 超入門

メモ投下するより資料見たほうが完璧なやつ

次世代アーキテクチャから見たHadoop/Sparkの位置づけ
～特にRDMA・NVMを軸としたときの分散並列処理の観点から

やんちゃな発表で面白かった！しかし、難しくてついていけない部分が多数

• ビッグデータそんなに活用できてなくね？
  日本の市場は中小規模が圧倒的多数。ほとんどのやつは10ノード程度で十分
• Hadoop/Sparkは純粋なOSSではないという現実がある
  コミッタを採用しました！というプレスリリースが企業から発表される
• ムーアの法則が本格的に終了

ビッグデータ可視化の性能を徹底検証

大人の事情が垣間見える発表。
資料としては参考程度でユースケースごとに適材適所で導入を

Spark MLlib Now and Beyond

機械学習初学者のエンジニアやSpark初学者のデータ分析者向け

業務で使ってないので聞いたことない単語だったりがたくさん出てきてて途中からはメモが雑になってしまってる…。