python bz2

date: 2020-10-27 excerpt: pythonのbz2の使い方

tag: bzip2 python bz2

pythonのbz2の使い方

概要

圧縮率が高い
ストリーム書き込み等ができる
歴史的な経緯によりbz2.openとbz2.BZ2File関数がそれぞれあるが機能に差はない

代表的な使用例

import bz2

with bz2.open("a", "at") as fp:
    fp.write("foo\n")

with bz2.open("a", "at") as fp:
    fp.write("bar\n")

with bz2.open("a", "rt") as fp:
    for line in fp:
        print(line.strip())

wikipediaのログをストリームで読込みながらxmlをパースする例

import bz2

with bz2.BZ2File(filename, 'r') as fp:
    context = lxml.etree.iterparse(fp, events=('end',), tag='{http://www.mediawiki.org/xml/export-0.10/}page')
    ...

参考

bz2 — Support for bzip2 compression/docs.python.org

bzip2 python bz2