一問一答で学ぶ自然言語処理【基礎編】

自然言語処理（Natural Language Processing, NLP）は、コンピュータが人間の言語を理解し、処理するための技術分野です。

主な応用分野：

1. テキスト分類

   • スパムメール判定、ニュース記事のカテゴリ分類、感情分析など

2. 機械翻訳

   • Google翻訳、DeepLなど、言語間の自動翻訳

3. 質問応答システム

   • チャットボット、検索エンジン、FAQシステムなど

4. テキスト要約

   • 長文を要約、ニュース記事の要約など

5. 情報抽出

   • 固有表現認識（人名、地名、組織名など）、関係抽出

6. 音声認識・音声合成

   • 音声をテキストに変換、テキストを音声に変換

7. 文書生成

   • 記事の自動生成、対話システムなど

自然言語処理の課題：

• 多義性：同じ単語が文脈によって異なる意味を持つ
• 文脈依存性：文脈を理解する必要がある
• 言語の多様性：言語ごとに異なる特徴がある
• 非構造化データ：テキストは構造化されていない

トークン化は、テキストを小さな単位（トークン）に分割する処理です。

英語のトークン化：

• 単語単位：スペースや句読点で分割
  • 例：「I love NLP.」→ ["I", "love", "NLP", "."]
• サブワード単位：BPE（Byte Pair Encoding）、WordPieceなど
  • 未知語に対応、語彙サイズを制御

日本語のトークン化：

• 形態素解析：単語の境界が明確でないため、形態素解析が必要
  • 例：「私は自然言語処理を学びます」→ ["私", "は", "自然言語処理", "を", "学び", "ます"]
• 分かち書き：単語間にスペースを挿入
• 文字単位：文字ごとに分割（文字ベースのモデル）

トークン化の重要性：

• テキストを機械学習モデルが処理できる形式に変換
• トークン化の方法がモデルの性能に影響
• 言語ごとに適切な方法を選択する必要がある

形態素解析は、テキストを形態素（意味を持つ最小単位）に分割し、品詞などの情報を付与する処理です。

形態素解析の処理：

1. 分かち書き：テキストを単語に分割
2. 品詞タグ付け：各単語の品詞を判定
3. 原形復元：活用形を原形に変換

例：

• 入力：「私は本を読みます」
• 出力：
  • 私（名詞）
  • は（助詞）
  • 本（名詞）
  • を（助詞）
  • 読み（動詞）
  • ます（助動詞）

主なツール：

1. MeCab

   • 高速、高精度
   • 辞書：IPA辞書、mecab-ipadic-NEologd（新語対応）

2. Janome

   • 純Python実装、インストールが簡単
   • 辞書が内蔵されている

3. GiNZA

   • spaCyベースの日本語処理ライブラリ
   • 形態素解析と構文解析を統合

4. Sudachi

   • 複数の分割単位を提供
   • 企業向けの商用版もあり

用途：

• テキストの前処理
• キーワード抽出
• 検索エンジン
• テキストマイニング

N-gramは、テキストから連続するN個のトークン（単語や文字）を抽出する手法です。

種類：

1. ユニグラム（1-gram）

   • 1つのトークン
   • 例：「自然言語処理」→ ["自然", "言語", "処理"]

2. ビグラム（2-gram）

   • 連続する2つのトークン
   • 例：「自然言語処理」→ ["自然 言語", "言語 処理"]

3. トリグラム（3-gram）

   • 連続する3つのトークン
   • 例：「自然言語処理」→ ["自然 言語 処理"]

文字N-gramと単語N-gram：

• 文字N-gram：文字単位で分割
  • 例：「自然」の2-gram → ["自然", "然言"]
• 単語N-gram：単語単位で分割
  • 例：「私は学生です」の2-gram → ["私 は", "は 学生", "学生 です"]

用途：

• 言語モデル：次の単語を予測
• 特徴量抽出：テキストの特徴を表現
• 検索エンジン：検索クエリの拡張
• スペルチェック：誤字の検出

メリット・デメリット：

• メリット：シンプル、実装が容易、文脈を考慮
• デメリット：Nが大きいと組み合わせ数が爆発的に増加、スパース性の問題

バギング・オブ・ワード（Bag of Words, BoW）は、テキストを単語の出現頻度のベクトルで表現する手法です。

仕組み：

1. 語彙の作成：全テキストからユニークな単語を抽出
2. ベクトル化：各テキストを、各単語の出現回数でベクトル化
3. 例：
   • 文書1：「私は学生です」
   • 文書2：「学生は勉強します」
   • 語彙：["私", "は", "学生", "です", "勉強", "します"]
   • 文書1：[1, 1, 1, 1, 0, 0]
   • 文書2：[0, 1, 1, 0, 1, 1]

特徴：

• 順序を無視：「学生は私」と「私は学生」は同じベクトルになる
• 出現頻度のみ：単語の位置や順序は考慮しない

メリット：

• シンプルで実装が容易
• 計算コストが低い
• テキスト分類などで有効

デメリット：

• 単語の順序を考慮しない
• 文脈を考慮しない
• 語彙サイズが大きくなると次元が増加
• スパースなベクトル（多くの要素が0）

改善手法：

• TF-IDF：重要度を考慮
• N-gram：順序の一部を考慮
• 単語埋め込み：意味を考慮

TF-IDF（Term Frequency-Inverse Document Frequency）は、単語の重要度を表す指標です。

計算式：

• TF（Term Frequency）：文書内での単語の出現頻度
  • TF(t, d) = (単語tの文書d内での出現回数) / (文書d内の全単語数)
• IDF（Inverse Document Frequency）：文書集合内での単語の希少性
  • IDF(t) = log(全文書数 / 単語tを含む文書数)
• TF-IDF：TF × IDF
  • TF-IDF(t, d) = TF(t, d) × IDF(t)

意味：

• TFが高い：その文書で頻繁に出現
• IDFが高い：他の文書では出現しにくい（特徴的）
• TF-IDFが高い：その文書に特徴的な単語

例：

• 「の」「は」などの助詞：多くの文書に出現 → IDFが低い → TF-IDFが低い
• 専門用語：特定の文書にのみ出現 → IDFが高い → TF-IDFが高い

用途：

• テキスト分類：特徴量として使用
• 情報検索：検索クエリと文書の類似度計算
• キーワード抽出：重要な単語を抽出
• テキスト要約：重要な文を抽出

メリット・デメリット：

• メリット：重要度を考慮、実装が容易
• デメリット：文脈を考慮しない、単語の順序を考慮しない

単語埋め込みは、単語を低次元の実数ベクトルで表現する手法です。

特徴：

• 密なベクトル：BoWのようなスパースベクトルではなく、密なベクトル
• 意味の表現：意味的に近い単語は、ベクトル空間で近くに配置される
• 固定次元：全ての単語を同じ次元（例：100次元、300次元）で表現

なぜ重要か：

1. 意味の表現

   • 「王様」-「男性」+「女性」≈「女王様」
   • 意味的な関係をベクトル演算で表現

2. 次元削減

   • 語彙数が数万でも、100-300次元で表現
   • 計算効率が向上

3. 機械学習モデルへの入力

   • ニューラルネットワークなどで使用
   • 意味を考慮した特徴量

主な手法：

• Word2Vec：Skip-gram、CBOW
• GloVe：グローバルな共起情報を利用
• FastText：サブワードを考慮

例：

• 「猫」と「犬」は近いベクトル
• 「猫」と「車」は遠いベクトル
• 「走る」と「歩く」は近いベクトル

Word2Vecは、単語を密なベクトルで表現する手法で、Skip-gramとCBOWの2つのアーキテクチャがあります。

基本的な考え方：

• 「似た文脈で使われる単語は、意味も似ている」という仮定
• 文脈から単語を予測するタスクを解くことで、単語の意味を学習

Skip-gram：

• 入力：中心単語
• 出力：周辺単語（文脈）
• 例：「私は自然言語処理を学びます」
  • 中心単語：「自然言語処理」
  • 周辺単語：「私」「は」「を」「学びます」
• メリット：低頻度語でも良い表現を学習
• デメリット：計算コストが高い

CBOW（Continuous Bag of Words）：

• 入力：周辺単語（文脈）
• 出力：中心単語
• 例：「私は自然言語処理を学びます」
  • 入力：「私」「は」「を」「学びます」
  • 出力：「自然言語処理」
• メリット：計算コストが低い、高頻度語で良い性能
• デメリット：低頻度語の表現が弱い

比較：

用途：

• テキスト分類の特徴量
• 意味的類似度の計算
• アナロジー（類推）の検出

ストップワードは、テキスト処理において除去すべき一般的な単語です。

ストップワードの例：

• 英語：the, a, an, is, are, was, were, be, been, have, has, had, do, does, did, will, would, should, could, may, might, must, can, this, that, these, those, I, you, he, she, it, we, they, and, or, but, if, because, etc.
• 日本語：は、が、を、に、へ、と、から、より、で、の、など、など、の、こと、もの、ため、とき、ところ、など

除去する理由：

1. 情報量が少ない

   • 多くの文書に出現し、文書の特徴を表さない
   • TF-IDFが低くなる

2. ノイズになる

   • テキスト分類などで、ノイズとして機能
   • モデルの性能を低下させる可能性

3. 計算コストの削減

   • 語彙サイズを減らす
   • 処理速度の向上

注意点：

• タスク依存：タスクによっては重要（例：感情分析で「not」は重要）
• 言語依存：言語ごとに異なる
• 過度な除去：必要な情報を失う可能性

実装：

• NLTK、spaCyなどのライブラリに標準で含まれる
• カスタムストップワードリストを作成可能

ステミングとレンマ化は、単語を原形に変換する処理ですが、方法が異なります。

ステミング（Stemming）：

• 方法：語尾を機械的に削除
• 例：
  • "running" → "run"
  • "happily" → "happi"（語幹のみ、意味のある単語にならない場合もある）
• 特徴：
  • 高速
  • 辞書不要
  • 意味のない語幹になる場合がある
• アルゴリズム：Porter Stemmer、Snowball Stemmer

レンマ化（Lemmatization）：

• 方法：辞書と形態素解析を使用して、語形変化前の原形（見出し語）に変換
• 例：
  • "running" → "run"
  • "happily" → "happy"（正しい原形）
  • "better" → "good"（比較級から原級へ）
• 特徴：
  • 正確
  • 辞書が必要
  • 計算コストが高い
• 実装：WordNet、spaCyなど

比較：

使い分け：

• ステミング：高速処理が必要、大規模データ
• レンマ化：精度が重要、小規模データ

日本語の場合：

• 日本語は活用が複雑なため、形態素解析で原形を取得
• MeCab、Janomeなどで原形を取得可能

品詞タグ付け（Part-of-Speech Tagging）は、各単語に品詞情報を付与する処理です。

品詞の例：

• 英語：名詞（Noun）、動詞（Verb）、形容詞（Adjective）、副詞（Adverb）、前置詞（Preposition）、代名詞（Pronoun）、接続詞（Conjunction）、限定詞（Determiner）など
• 日本語：名詞、動詞、形容詞、副詞、助詞、助動詞、連体詞、接続詞、感動詞など

例：

• 入力：「私は本を読みます」
• 出力：
  • 私：名詞
  • は：助詞
  • 本：名詞
  • を：助詞
  • 読み：動詞
  • ます：助動詞

用途：

1. テキストの前処理

   • 名詞のみを抽出してキーワード抽出
   • 動詞を抽出して動作を分析

2. 構文解析の前処理

   • 構文解析の精度向上

3. 情報抽出

   • 固有表現認識の精度向上
   • 関係抽出

4. テキスト分類

   • 品詞情報を特徴量として使用

5. 機械翻訳

   • 文の構造を理解

実装：

• 英語：NLTK、spaCy
• 日本語：MeCab、Janome、GiNZA

手法：

• ルールベース：辞書とルールを使用
• 統計的手法：HMM（Hidden Markov Model）、CRF（Conditional Random Fields）
• 深層学習：LSTM、Transformer

固有表現認識（Named Entity Recognition, NER）は、テキストから固有表現（人名、地名、組織名など）を抽出する処理です。

主なカテゴリ：

1. 人名（Person）

   • 例：田中太郎、John Smith

2. 地名（Location）

   • 例：東京、New York、日本

3. 組織名（Organization）

   • 例：株式会社ABC、Google、東京大学

4. 日付（Date）

   • 例：2025年11月26日、2025-11-26

5. 時刻（Time）

   • 例：午後3時、15:00

6. 金額（Money）

   • 例：1000円、$100

7. パーセンテージ（Percent）

   • 例：50%、50パーセント

例：

• 入力：「田中太郎は東京大学の学生です。2025年11月26日に東京で会議に参加しました。」
• 出力：
  • 田中太郎：人名
  • 東京大学：組織名
  • 2025年11月26日：日付
  • 東京：地名

用途：

• 情報抽出：文書から重要な情報を抽出
• 検索エンジン：エンティティベースの検索
• 質問応答システム：エンティティを理解
• 知識グラフの構築：エンティティ間の関係を抽出

実装：

• 英語：spaCy、NLTK、Stanford NER
• 日本語：GiNZA、spaCy（日本語モデル）、BERTベースのモデル

手法：

• ルールベース：辞書とパターンマッチング
• 統計的手法：CRF、HMM
• 深層学習：BiLSTM-CRF、BERT

構文解析は、文の構文的な構造を解析する処理です。

依存関係解析（Dependency Parsing）：

• 方法：単語間の依存関係を解析
• 出力：依存関係木（どの単語がどの単語に依存するか）
• 例：「私は本を読みます」
  • 私 ← は（助詞）
  • 本 ← を（助詞）
  • 読み ← ます（助動詞）
  • 読み ← 本（目的語）
  • 読み ← 私（主語）

句構造解析（Constituency Parsing）：

• 方法：文を句（句節）に分割し、階層構造を解析
• 出力：句構造木（文の階層構造）
• 例：「私は本を読みます」
  • S（文）
    • NP（名詞句）：私
    • VP（動詞句）
      • NP（名詞句）：本
      • V（動詞）：読みます

比較：

用途：

• 情報抽出：主語・述語・目的語の抽出
• 関係抽出：エンティティ間の関係を抽出
• 機械翻訳：文の構造を理解
• 質問応答システム：質問の構造を理解

言語モデルは、単語列の確率を計算するモデルで、「次の単語を予測する」タスクに使用されます。

基本的な考え方：

• 文「私は学生です」の確率 P(私は学生です) を計算
• 次の単語を予測：P(次の単語 | これまでの単語)

統計的言語モデル：

• N-gram言語モデル：N個の単語の組み合わせの確率を計算
• 例（3-gram）：
  • P(学生|私は) = count(私は学生) / count(私は)
• メリット：シンプル、解釈しやすい
• デメリット：スパース性の問題、長い文脈を考慮できない

ニューラル言語モデル：

• RNN/LSTM：再帰的ニューラルネットワークで文脈を考慮
• Transformer：Attention機構で長い文脈を考慮
• GPT、BERT：大規模な事前学習モデル
• メリット：長い文脈を考慮、高い性能
• デメリット：計算コストが高い、解釈が難しい

用途：

• テキスト生成：次の単語を生成
• 機械翻訳：翻訳の品質向上
• 音声認識：音声からテキストへの変換
• スペルチェック：誤字の検出と修正

評価指標：

• パープレキシティ（Perplexity）：言語モデルの性能を評価
  • 低いほど良い（予測が正確）

テキスト分類は、テキストを事前に定義されたカテゴリに分類するタスクです。

主な応用：

• スパムメール判定：スパム/正常
• 感情分析：ポジティブ/ネガティブ/ニュートラル
• トピック分類：ニュース記事のカテゴリ分類
• 意図分類：チャットボットでのユーザーの意図を分類

主な手法：

1. ルールベース

   • キーワードマッチング、正規表現
   • メリット：シンプル、解釈しやすい
   • デメリット：精度が低い、保守が大変

2. 機械学習手法

   • Naive Bayes：単語の出現確率を使用
   • SVM：TF-IDF特徴量を使用
   • ランダムフォレスト：決定木のアンサンブル
   • メリット：ルールベースより高精度
   • デメリット：特徴量エンジニアリングが必要

3. 深層学習手法

   • CNN：テキストを1次元のシーケンスとして処理
   • RNN/LSTM：文脈を考慮
   • Transformer/BERT：事前学習モデルを使用
   • メリット：高い性能、特徴量エンジニアリングが不要
   • デメリット：計算コストが高い、データが必要

評価指標：

• Accuracy：正解率
• Precision、Recall、F1-Score：不均衡データの場合
• 混同行列：どのクラスをどのクラスと間違えやすいか

感情分析は、テキストから感情や意見を抽出・分類するタスクです。

主な応用：

• レビュー分析：商品レビューの評価
• SNS分析：ツイートや投稿の感情分析
• 顧客フィードバック：顧客の満足度分析
• ブランド監視：ブランドへの言及の感情分析

分類の種類：

1. 2クラス分類

   • ポジティブ/ネガティブ
   • 例：レビューが良い/悪い
   • メリット：シンプル、解釈しやすい
   • デメリット：ニュートラルな感情を表現できない

2. 多クラス分類

   • ポジティブ/ネガティブ/ニュートラル
   • または、より細かい分類（喜び、悲しみ、怒りなど）
   • メリット：より詳細な分析が可能
   • デメリット：分類が難しい、データが必要

3. 細粒度感情分析

   • アスペクトベース：特定の側面に対する感情を分析
   • 例：「このレストランの料理は美味しいが、サービスは悪い」
     • 料理：ポジティブ
     • サービス：ネガティブ

手法：

• ルールベース：感情辞書を使用
• 機械学習：SVM、Naive Bayesなど
• 深層学習：LSTM、BERTなど

課題：

• 皮肉・比喩：文字通りの意味ではない
• 文脈依存：文脈によって感情が変わる
• 主観性：人によって感情が異なる

機械翻訳は、ある言語のテキストを別の言語に自動翻訳するタスクです。

主なアプローチ：

1. ルールベース機械翻訳（RBMT）

   • 方法：言語の文法規則と辞書を使用
   • 手順：
     1. 構文解析
     2. 言語間の対応規則を適用
     3. 目的言語で生成
   • メリット：解釈可能、ドメイン特化が容易
   • デメリット：規則の作成が大変、柔軟性が低い

2. 統計的機械翻訳（SMT）

   • 方法：大量の対訳コーパスから統計的に学習
   • 手順：
     1. 対訳コーパスから翻訳確率を学習
     2. 文をフレーズに分割
     3. フレーズごとに翻訳
     4. 言語モデルで文を生成
   • メリット：データから自動学習、柔軟性が高い
   • デメリット：対訳コーパスが必要、長距離依存が弱い

3. ニューラル機械翻訳（NMT）

   • 方法：エンコーダ-デコーダアーキテクチャ
   • 手順：
     1. エンコーダ：原文をベクトルに変換
     2. デコーダ：ベクトルから訳文を生成
   • アーキテクチャ：
     • RNN/LSTM：シーケンス間モデル
     • Transformer：Attention機構を使用
   • メリット：高い性能、文脈を考慮
   • デメリット：計算コストが高い、データが必要

比較：

評価指標：

• BLEU：n-gramの一致率
• METEOR：意味的類似度も考慮
• 人工評価：人間による評価

テキスト要約は、長いテキストを短く要約するタスクです。

種類：

1. 抽出型要約（Extractive Summarization）

   • 方法：原文から重要な文を抽出して要約
   • 手順：
     1. 各文の重要度をスコアリング
     2. 重要な文を選択
     3. 選択した文を順序通りに並べる
   • 手法：
     • TF-IDF、TextRank（グラフベース）
     • 機械学習：重要度を学習
   • メリット：元の情報を保持、実装が容易
   • デメリット：文の順序が不自然、冗長性がある

2. 生成型要約（Abstractive Summarization）

   • 方法：原文の内容を理解し、新しい文を生成
   • 手順：
     1. 原文を理解
     2. 重要な情報を抽出
     3. 新しい文を生成
   • 手法：
     • Seq2Seq、Transformer
     • GPT、BERTベースのモデル
   • メリット：自然な要約、冗長性を削減
   • デメリット：実装が複雑、事実誤認のリスク

比較：

評価指標：

• ROUGE：要約と参照要約のn-gramの一致率
• BLEU：生成型要約の評価
• 人工評価：人間による評価

用途：

• ニュース記事の要約
• 論文の要約
• 会議議事録の要約
• 長文の要約

質問応答システムは、自然言語の質問に対して適切な回答を返すシステムです。

主な応用：

• 検索エンジン：Google、Bingなど
• チャットボット：カスタマーサポート
• FAQシステム：よくある質問への回答
• 知識ベース：Wikipedia、企業のナレッジベース

種類：

1. 情報検索型（Retrieval-based）

   • 方法：事前に用意された回答から選択
   • 手順：
     1. 質問を理解
     2. 知識ベースから関連文書を検索
     3. 関連文書から回答を抽出
   • メリット：事実性が高い、制御可能
   • デメリット：知識ベースにない質問には回答できない

2. 生成型（Generative）

   • 方法：質問に基づいて新しい回答を生成
   • 手順：
     1. 質問を理解
     2. 関連情報を取得
     3. 新しい回答を生成
   • 手法：
     • Seq2Seq、Transformer
     • GPT、BERTベースのモデル
   • メリット：柔軟な回答、知識ベースが不要
   • デメリット：事実誤認のリスク、制御が難しい

ハイブリッド型：

• 情報検索型と生成型を組み合わせ
• まず検索、必要に応じて生成

評価指標：

• EM（Exact Match）：回答が完全に一致
• F1-Score：回答のトークンレベルの一致
• 人工評価：人間による評価

課題：

• 多義性：質問の意味が曖昧
• 文脈理解：文脈を理解する必要がある
• 事実性：事実に基づいた回答

チャットボットは、自然言語でユーザーと対話するシステムです。

基本的な仕組み：

1. 入力理解（NLU：Natural Language Understanding）

   • ユーザーの発話を理解
   • 意図（Intent）とエンティティを抽出

2. 対話管理（Dialogue Management）

   • 対話の状態を管理
   • 次のアクションを決定

3. 応答生成（NLG：Natural Language Generation）

   • 適切な応答を生成

種類：

1. ルールベース

   • 方法：事前に定義されたルールとパターンで応答
   • 例：
     • 「こんにちは」→「こんにちは、いかがお過ごしですか？」
     • 「天気は？」→「今日の天気は晴れです」
   • メリット：
     • 制御可能、予測可能
     • 実装が容易、データが不要
   • デメリット：
     • 柔軟性が低い
     • ルールの保守が大変
     • 未知の質問に対応できない

2. AIベース

   • 方法：機械学習や深層学習で対話を学習
   • 手法：
     • 検索型：事前に用意された応答から選択
     • 生成型：新しい応答を生成（GPT、BERTなど）
   • メリット：
     • 柔軟な対話が可能
     • 未知の質問にも対応
     • 自然な対話
   • デメリット：
     • データが必要
     • 制御が難しい
     • 不適切な応答のリスク

対話の流れ：

1. ユーザー：「今日の天気は？」
2. NLU：意図=天気確認、エンティティ=今日
3. 対話管理：天気APIを呼び出す
4. NLG：「今日の天気は晴れ、気温は20度です」

用途：

• カスタマーサポート：よくある質問への回答
• 予約システム：レストラン、ホテルの予約
• 情報検索：商品情報、FAQ
• エンターテインメント：雑談、ゲーム

課題：

• 文脈理解：前の対話を理解
• 多義性：曖昧な質問への対応
• エラーハンドリング：理解できない質問への対応