形態素解析器のいらないキーワード抽出ツール（４）

今日もこれです。

過去記事のスクリプトは削除しました。

だいぶ速くなり、10000字の文書を1～2分で処理できるようになりました。


（ある文字列のスコア）　＝　（出現回数）×（文字列の長さ）

と定め、

キーワードの集合から（文字列１）と（文字列２）を取り出し、

条件１　：　（文字列１）&（文字列２）のスコア　＞　（文字列１）のスコア

条件２　：　（文字列１）&（文字列２）のスコア　＞　（文字列２）のスコア

の二つを満たしたとき、

（文字列１）&（文字列２）を新たにキーワードの集合に加えます。


（文字列１）　：　形態素
（文字列２）　：　解析器
（文字列１）&（文字列２）　：　形態素解析器

こんな感じです。