Sentence Transformers
date: 2022-06-19 excerpt: Sentence Transformersの使い方
Sentence Transformersの使い方
概要
- (BERTなどで)文章をベクトル化する
- 各種言語でのプリトレンドモデルが公開されており、日本語のモデルもある
プリトレンドモデルの使用例
sbert.netのモデルの使用例
from sentence_transformers import SentenceTransformer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
model = SentenceTransformer('all-mpnet-base-v2')
sentences = ['逃げちゃダメだ',
'笑えばいいと思うよ',
'僕は、エヴァンゲリオン初号機のパイロット、碇シンジです!',
"あたし、にんにくラーメン、チャーシュー抜き",
"チャーシューラーメン大好き!"]
embeddings = model.encode(sentences)
score = cosine_similarity(embeddings) # 文章の類似度の計算
Google Colab
日本語のモデルを使用するとき
- sbert.netの多言語モデルを用いるか、日本語で学習したモデルを用いる