# ubuntu linux + ipadic
parser = MeCab.Tagger("-Owakati -d /var/lib/mecab/dic/ipadic-utf8")

# ubuntu linux + neologd
parser = MeCab.Tagger("-Owakati -d /usr/lib/x86_64-linux-gnu/mecab/dic/mecab-ipadic-neologd/") # /etc/mecabrcに設定されているに関わらず、明示的にpython3の内部で辞書ファイルのpath指定をする必要がある

# macOS(intel)
parser = MeCab.Tagger("-Owakati -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd/") 
# macOS(apple) + ipdaic
parser = MeCab.Tagger("-Owakati -d /opt/homebrew/lib/mecab/dic/ipadic/")
# macOS(apple) + neologd
parser = MeCab.Tagger("-Owakati -d /opt/homebrew/lib/mecab/dic/mecab-ipadic-neologd/") 


assert parser.parse("COVID19").strip().split() == ["COVID19"], "辞書ファイルが古いです" # 辞書が反映されていないと落ちるはず

import MeCab
import mojimoji
from tqdm import tqdm
import collections
import regex

# 適切な辞書を設定する
parser = MeCab.Tagger("-Ochasen -d /opt/homebrew/lib/mecab/dic/mecab-ipadic-neologd/")

def parse_terms(texts: "List[str] | pd.Series") -> pd.DataFrame:
    tf = collections.defaultdict(int)
    for text in tqdm(texts):
            text = mojimoji.han_to_zen(text, kana=True, digit=False, ascii=False)
            text = text.lower()
            for line in set(parser.parse(text).strip().split("\n")):
                entities = line.split("\t")
                if len(entities) <= 4:
                    continue
                word = entities[0] # もとの単語
                yomi = entities[1] # 読み
                orig = entities[2] # 未活用の原型
                type = entities[3] # 品詞
                # 短すぎる単語をskip
                if regex.match("^\p{Hiragana}{1,2}$", orig) or regex.match("^\p{Katakana}{1,2}$", orig):
                    continue
                # 名詞はもとの読みを使用
                if "名詞" in type:
                    tf[(word, type)] += 1
                # 形容詞と動詞は未活用の原型を使用
                if "形容" in type or "動詞" in type:
                    tf[(orig, type)] += 1
    tf = pd.DataFrame(tf.items())
    tf.columns = ["tup", "freq"]
    tf["term"] = tf["tup"].apply(lambda x:x[0])
    tf["type"] = tf["tup"].apply(lambda x:x[1])
    tf.drop(columns=["tup"], inplace=True)
    tf.query('type not in ["動詞-非自立", "名詞-接尾-人名", "名詞-数"]', inplace=True)
    return tf

if "名詞" in type:
    if type in {"名詞-数", "名詞-代名詞", "名詞-非自立", "名詞-副詞可能", "接頭詞-名詞接続"}:
        continue
    if regex.match("^\p{Hiragana}{1,}$", orig):  # 1,2文字のひらがなは集計しない
        continue
    #if regex.match("^[a-zA-Z]{1,5}", word): # 1 ~ 5の英語はスキップ
    #    continue
    if regex.match("^\d{1,}[a-zA-Z]{1,}", word):
        continue
    if regex.match("^\d{1,}[^\d]{1,}", word):
        continue
    if regex.match("^[^\d]{1,}\d{1,}", word) and len(word) <= 2:
        continue
    if regex.match("^[a-zA-Z]{1,5}$", word):
        continue
    if regex.match("^[a-zA-Z]", word) and len(word) <= 2:
        continue
    if regex.match("^-", word):
        continue 
    if len(word) <= 1 and  not(eomoji_pattern.match(word) or  emoji_extra.match(word)):  # 1文字の表現はほとんどノイズなので集計しない
        continue