pytorchのpredictの使い方
概要
- pytorchでのpredictの使い方
- 学習と同じIFを用いていると推論プロセスを走らせる度に、GPUメモリを確保してしまうので、ちょっとしたテクニックが必要
- batchサイズも重要でGPUの使用率をできるだけ高く使う設定が最も推論が早くなる
nvidia-smi -1でリソースを確認できる
具体例
メモリを毎回確保してしまう事がある例
predict = model.predict(X)
no_gradを指定し、学習を止めてメモリを確保しない例
import gc
import torch
with torch.no_grad():
predict = model.predict(X)
gc.collect()
torch.cuda.empty_cache()