sentence transformerの使い方
概要
- 文章をベクトル化するトランスフォーマー
- 直接同じ単語を使用しなくても同じような内容は近いベクトルになるなどの特徴がある
具体例
"pickachu"を検索クエリにして、様々な語を検索対象としたとき
from sentence_transformers import SentenceTransformer
import pandas as pd
model = SentenceTransformer('sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2')
sentences0 = ["pikachu"]
embeddings0 = model.encode(sentences0)
sentences1 = ["Hentai", "Anime", "Movie", "Wife", "Wifu", "日本", "エヴァンゲリオン", "ガンダム", "superman", "captain america", "spider man", "evangelion", "pokemon", "任天堂", "nitendo"]
embeddings1 = model.encode(sentences1)
df = pd.DataFrame(list(zip(sentences1, embeddings0[0]@embeddings1.T)))
df.sort_values(by=[1], ascending=False)
