pytorch predict

/

pytorchのpredictの使い方

タグ

pytorchのpredictの使い方

概要

  • pytorchでのpredictの使い方
  • 学習と同じIFを用いていると推論プロセスを走らせる度に、GPUメモリを確保してしまうので、ちょっとしたテクニックが必要
  • batchサイズも重要でGPUの使用率をできるだけ高く使う設定が最も推論が早くなる
    • nvidia-smi -1でリソースを確認できる

具体例

メモリを毎回確保してしまう事がある例

predict = model.predict(X)

no_gradを指定し、学習を止めてメモリを確保しない例

import gc
import torch
with torch.no_grad():
    predict = model.predict(X)
gc.collect()
torch.cuda.empty_cache()

参考