tresure data

date: 2017-04-10 excerpt: treasure dataの使い方

tag: tresuredata

Tresure Dataの使い方

概要

データレークの一種
BigQueryを最近は使うことが多い

ユースケース別使い方

td commandのインストール

$ curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-trusty-td-agent2.sh | sh

td commandのユーザ認証

$ td -e https://api.treasuredata.com account -f

digdagのインストール

$ sudo curl -o /usr/local/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest"
$ sudo chmod +x /usr/local/bin/digdag

digdagの実行

digdag run <dig-file>.dig

digdagファイルのフォーマットの例

timezone: UTC

_export:
  td:
    database: workflow_temp

+task1:
  td>: queries/<sql-file>.sql
  download_file: <output-filename>.csv
  engine: hive

digdagがcallするsqlフォーマット

SELECT *
FROM <table-name>

Treasure Dataの内容をダンプする

概要

tdコマンドを用いることでS3にダンプすることができる

ダンプコマンド例

$ td table:export {$DATABASE} {$TABLE} \
   --s3-bucket {$NAME} \
   --prefix {$FOLDER} \
   --aws-key-id {$AWS_KEY} \
   --aws-secret-key {$AWS_SECRET_KEY} \
   --file-format jsonl.gz