• home
  • about
  • 全ての投稿
  • ソフトウェア・ハードウェアの設定のまとめ
  • 分析関連のまとめ
  • ヘルスケア関連のまとめ
  • 生涯学習関連のまとめ

cloud dataflow

date: 2021-03-13 excerpt: cloud dataflowについて

tag: cloud dataflowapache beamgcp

cloud dataflowについて

概要

  • apache beam alternative
  • 賢いmap reduce
  • オンライン処理ができる

ストリーミングでモニタリングする

  • サンプルコード
    • sandiego
    • sliding windowを使ったパイプラインの例
      • AverageSpeeds.java
  • monitoring
    • 出力をbigqueryをつなげて、monitoring -> メトリック作成 -> 必要ならなmonitoring/alertでアラートを作成する

パイプラインのWeb UIでの確認


cloud dataflowapache beamgcp Share Tweet