N-gram 抽出ツール

n-gram の長さごとにわかること

このツールがテキストを区切る仕組み

• すべて小文字に変換します。 そのため “The” と “the” は同じ行にまとまります。
• 単語とは、文字・数字・アポストロフィが続いたかたまりです。 それ以外の文字（句読点、記号、改行）はすべて区切り文字とみなされ、取り除かれます。
• 文の境界は保持されません。 前の文の最後の単語と次の文の最初の単語が 1 つの n-gram になることがあります。文をまたいだ組み合わせは割り引いて読み、厳密さが必要なら文単位・段落単位で分析してください。
• ストップワードはそのまま残ります。 自動では除外しないので、意味のあるフレーズだけがほしい場合は CSV から該当行を削除してください。
• 単語はスペースと句読点で見つけます。 つまり、単語をスペースで区切る言語でしか単語単位の n-gram にはなりません。日本語は分かち書きをしません（中国語・タイ語も同様）。スペースのない日本語の文は、そのまま「1 つの単語」として扱われてしまいます。まず形態素解析器（MeCab、Sudachi、Janome など）で分かち書きにし、単語がスペースで区切られた状態にしてから貼り付けてください。文字単位の n-gram がほしい場合は、専用のツールをお使いください。

ストップワードを除くべきとき

ストップワードとは、英語の “the”、“a”、“of”、“and” のように高頻度で現れる機能語です。日本語では「の」「は」「する」「こと」などがこれにあたります。残したままだと “of the” や「の の」のような無意味な組み合わせがバイグラムの一覧を埋め尽くします。このツールは除外しないので、意味のあるフレーズだけがほしいときは書き出した表から該当行を削除してください。逆に、文体の分析、著者推定、機能語そのものが手がかりになる言語モデルの研究では残しておくほうが有用です。

SEO での使い方

“nginx config generator” を狙う記事なら、次の点を確認します。

• 狙ったバイグラム・トライグラムが上位 20 位に入っているか。 “nginx config” が 40 位なら、その語の使用が足りていない可能性が高いです。
• キーワードを詰め込みすぎていないか。 圧倒的な差で 1 位になっている場合、その記事はスパムのように読まれます。
• 意味的に近い語が一緒にあるか。 “server block”、“proxy pass”、“ssl certificate” といった関連バイグラムがあることで、検索エンジンはトピックが十分に扱われていると判断します。

NLP・学術分野での利用

• 言語モデルは、スムージングとバックオフに n-gram の頻度を使います（Kneser-Ney、Good-Turing）。
• 著者推定の研究では、著者候補ごとのトライグラム分布を比較します。
• 機械翻訳の評価（BLEU）は、出力訳と参照訳のあいだの n-gram の一致度で採点します。