openaiのcliの使い方
概要
- モデルのファインチューニングや学習の管理などができる
インストール
$ python3 -m pip install openai
認証の通し方
- 環境変数でシークレットキーを与える
$ export OPENAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxx
ファインチューニングのデータセットのフォーマット
- /jsonl/形式
promptとcompletionがあることを期待
データセットのチェックとサニタイズ
- スペースがあるべき点にない、文の終わりを宣言していないなどを補完する
$ openai tools fine_tunes.prepare_data -f <data.jsonl>
ファインチューニング
$ openai api fine_tunes.create -t "data_prepared.jsonl"
ファインチューニング中・完了のモデルを確認する
$ openai api fine_tunes.list
ファインチューニングしたモデルで推論する
consoleでの利用
$ $ openai api completions.create -m <curie:ft-personal-2023-02-21-04-06-05> -p <prompt>