• home
  • about
  • 全ての投稿
  • ソフトウェア・ハードウェアの設定のまとめ
  • 分析関連のまとめ
  • ヘルスケア関連のまとめ
  • 生涯学習関連のまとめ

pytorch predict

date: 2021-01-05 excerpt: pytorchのpredictの使い方

tag: pythonpytorch


pytorchのpredictの使い方

概要

  • pytorchでのpredictの使い方
  • 学習と同じIFを用いていると推論プロセスを走らせる度に、GPUメモリを確保してしまうので、ちょっとしたテクニックが必要
  • batchサイズも重要でGPUの使用率をできるだけ高く使う設定が最も推論が早くなる
    • nvidia-smi -1でリソースを確認できる

具体例

メモリを毎回確保してしまう事がある例

predict = model.predict(X)

no_gradを指定し、学習を止めてメモリを確保しない例

import gc
import torch
with torch.no_grad():
    predict = model.predict(X)
gc.collect()
torch.cuda.empty_cache()

参考

  • CUDA out of memory when using model to make predictions


pythonpytorch Share Tweet