pandas memory

pandasのmemoryについて

タグ

pandasのmemoryについて

概要

  • pandasのデータ型を小さいデータを指定して読み込むことでメモリの使用量を削減できる
  • memory_usage()で、カラムごとの使用メモリを確認することもできる

具体例

  • メモリの使用量を外部ファイルで指定して、csvで読み込む
  • カラムごとのメモリを表示
dtypes = pd.read_csv('dtypes.csv')
dtypes_dict = {k: v for (k, v) in zip(dtypes["col_name"], dtypes["dtype"])}
# データ型を指定して読み込み
df = pd.read_csv('data.csv', dtype=dtypes_dict)

# カラムごとのメモリをMb単位で表示
memory = df.memory_usage().to_frame().reset_index()
memory.columns = ["col_name", "memory[Mb]"]
memory["memory[Mb]"] /= 1024**2
memory

参考