openai probs

import math
import numpy as np
import pandas as pd
from openai import OpenAI
client = OpenAI()

text_to_evaluate = "ここに評価したい文章をそのまま置く"


response = client.completions.create(
    model="davinci-002",   # 例: GPT-3 Ada
    prompt=text_to_evaluate,
    max_tokens=0,           # 追加生成を行わない
    temperature=0,          # 再現性のため0に
    top_p=1,
    logprobs=5,             # トークン確率の上位5件を取得(必要に応じて調整)
    echo=True               # prompt部分についてもトークン情報を取得
)

tokens = response.choices[0].logprobs.tokens
logprobs = response.choices[0].logprobs.token_logprobs

df = pd.DataFrame()
df["token"] = tokens
df["logprob"] = logprobs
df["prob"] = np.exp(df["logprob"])

ppl = df["logprob"].mean()
print(f"Perplexity: {ppl:.2f}")

display(df)
"""
Perplexity: -3.40
"""