nltkの使い方
概要
- 英語の文章を色々できるライブラリ
- 英語の文章の形態素解析も可能
- 品詞を推定できる
インストールとセットアップ
$ python3 -m pip install nltk
主要辞書・機能のダウンロード
import nltk
nltk.download("popular")
英文を形態素解析する
import nltk
from nltk.stem.wordnet import WordNetLemmatizer
from nltk.tag import pos_tag
text = "Peace was never an option"
tokens = nltk.word_tokenize(text)
lemmatizer = WordNetLemmatizer()
for token, tag in pos_tag(tokens):
# Normalize sentence
print(token, tag) ## NNは名詞
pos = 'n' ## 名詞
normalized_token = lemmatizer.lemmatize(token, pos)
print(normalized_token) # ノーマライズした原型