JJUG ナイトセミナー 「Elasticsearch特集」 行ってきた ｜ Advent Calendar 2018

IT系の勉強会行ってきた Advent Calendar 2018 - Adventar の13日目

JJUGといいつつElasticsearchな話

• Elastic Stack は製品群を指す(下記)
  Kibana、Elasticsearch、Beats、Logstash
• Beats：軽量データシッパー、データを集めて後ろに投げるエージェント
• Logstash：データ加工パイプライン
• Elasticsearch：データストレージ
• Kibana：可視化ツール デモサイト→ Kibana
• Beatsを色んな所に入れつつ、数が増えたら間にkafkaやLogstashを挟むのが一般的
• Elastic APM：アプリケーションのパフォーマンス監視の為のもの

• カジュアルに検証はできるが大きいクラスタには設計が大切
• シャード設計、レプリカ設計、マッピング設計、ディスク設計、を考える
  インデックス単位でシャード数、レプリカ数を設定(シャード数はインデックス作成後変更不可)
• 最近の分散はディスク側での冗長ではなくソフト側で冗長してやる流れが多い

クラスタの設計は難しくて雰囲気しかよくわからないマン
ES系をもっと活用したい。
システムによってはFluentdではなく、全部こっち側に寄せてしまってもいいんじゃないかって思うことはある。