• home
  • about
  • 全ての投稿
  • ソフトウェア・ハードウェアの設定のまとめ
  • 分析関連のまとめ
  • ヘルスケア関連のまとめ
  • 生涯学習関連のまとめ

SQL 2 KVS

date: 2017-04-26 excerpt: SQLをKVSに変換する

tag: sql, kvs


SQLをKVSに変換する

データ直列系ではkvsの方がよいので

図1. このようなフォーマットにする
  • Sparkできなシステムに還元する際は、KVSフォーマットを構築する必要がある
select 
  tuuid,
  array_join(array_agg(col), ',')
from 
(select tuuid, date_time || ' ' || ip || ' ' || request_uri || ' ' || ipao97_value || ' ' || referer as col from tech_batch.latest_60days)
group by tuuid


sql, kvs Share Tweet