bigqueryのメタデータ

/

BigQueryのメタデータについて

タグ meta

概要

  • データセットの粒度に対して、テーブルの構造、パーティションの情報、お金に関わる情報などが格納されており、アクセスして確認することができる
  • テーブル名のサフィックスにもアクセスすることができ、最新のテーブルだけに限定してクエリを実行するなどができる

パーティションでまとめられたテーブルを全部リストして確認する

SELECT
  *
FROM 
  `project.dataset.INFORMATION_SCHEMA.TABLES`

PARTITION_IDの確認

SELECT 
  *
FROM 
  `project.dataset.INFORMATION_SCHEMA.PARTITIONS`

tableの最新のサフィックスに限定してクエリを実行する

SELECT
  *
FROM
  `project.dataset.table_*`
WHERE
  _TABLE_SUFFIX in (SELECT MAX(_TABLE_SUFFIX) FROM `project.dataset.table_*`)
  • 一見すると、すべての行にアクセスするように見えるが、最新のテーブルサフィックスを計算するイディオムとして利用できる

参考