一問一答で学ぶ機械学習【基礎編】

機械学習（Machine Learning）とは、コンピュータがデータから自動的にパターンやルールを学習し、新しいデータに対して予測や分類を行う技術です。従来のプログラミングでは、人間が明示的にルールを記述する必要がありましたが、機械学習では大量のデータからコンピュータが自動的に学習します。

機械学習は、データから学習するという点で、従来のプログラムとは異なるアプローチを取ります。学習したモデルは、新しいデータに対して一般化された予測を行うことができます。

教師あり学習（Supervised Learning）

• 入力データと正解ラベル（教師データ）のペアから学習します
• 例：メールのスパム判定（メール本文が入力、スパムかどうかが正解ラベル）
• 主なタスク：分類（Classification）と回帰（Regression）

教師なし学習（Unsupervised Learning）

• 正解ラベルなしのデータからパターンを発見します
• 例：顧客のセグメンテーション、異常検知
• 主なタスク：クラスタリング、次元削減

強化学習（Reinforcement Learning）

• エージェントが環境と相互作用し、報酬を最大化するように行動を学習します
• 例：ゲームAI、ロボット制御
• 試行錯誤を通じて最適な行動方針（ポリシー）を学習します

過学習とは、モデルが訓練データに過度に適合し、訓練データでは高い精度を示すものの、新しいデータ（テストデータ）では精度が低下する現象です。モデルが訓練データのノイズや細かいパターンまで覚え込んでしまい、汎化性能が低下します。

過学習を防ぐ方法：

1. 正則化（Regularization）：L1正則化（Lasso）、L2正則化（Ridge）などでモデルの複雑さを制限
2. ドロップアウト（Dropout）：ニューラルネットワークで一部のニューロンをランダムに無効化
3. データの増量（Data Augmentation）：訓練データを人工的に増やす
4. 早期停止（Early Stopping）：検証データの性能が改善しなくなったら学習を停止
5. 交差検証（Cross Validation）：データを分割してモデルの汎化性能を評価
6. モデルの複雑さを減らす：特徴量の数を減らす、モデルの層を減らすなど

交差検証とは、限られたデータを効率的に活用してモデルの性能を評価する手法です。データを複数のグループ（フォールド）に分割し、そのうちの1つを検証用に使い、残りを訓練用に使います。これを全フォールドで繰り返し、各フォールドでの性能の平均を取ります。

代表的な手法：

• k分割交差検証（k-fold Cross Validation）：データをk個のグループに分割し、k回の学習・評価を実施
• 層化k分割交差検証（Stratified k-fold）：各フォールドでクラスの分布を保つように分割

なぜ必要か：

1. データの有効活用：限られたデータを最大限に活用できる
2. モデルの汎化性能の正確な評価：単一の訓練・テスト分割よりも信頼性の高い評価が可能
3. 過学習の検出：訓練データと検証データの性能差から過学習を検出できる
4. ハイパーパラメータの調整：異なる設定での性能を公平に比較できる

特徴量とは、機械学習モデルに入力するデータの各属性や変数のことです。例えば、メールのスパム判定では、「件名の文字数」「URLの有無」「特定の単語の出現頻度」などが特徴量になります。

特徴量エンジニアリングの重要性：

1. モデルの性能に直結：適切な特徴量を選ぶことで、モデルの性能が大きく向上します。優れた特徴量は、シンプルなモデルでも高い性能を発揮させることができます。

2. ドメイン知識の活用：その分野の専門知識を特徴量に反映させることで、モデルが学習しやすくなります。

3. データの前処理：欠損値の処理、外れ値の処理、カテゴリ変数のエンコーディングなど、適切な前処理が重要です。

4. 次元削減：不要な特徴量を削除したり、特徴量を組み合わせて新しい特徴量を作成することで、モデルの学習を効率化できます。

「データと特徴量が8割、アルゴリズムが2割」と言われることもあり、特徴量エンジニアリングは機械学習において非常に重要な工程です。

分類問題（Classification）

• 目的：データを離散的なカテゴリやクラスに分類する
• 出力：離散値（例：スパム/非スパム、猫/犬/鳥など）
• 評価指標：精度（Accuracy）、適合率（Precision）、再現率（Recall）、F1スコアなど
• 例：メールのスパム判定、画像の物体認識、病気の診断

回帰問題（Regression）

• 目的：連続的な数値を予測する
• 出力：連続値（例：価格、温度、売上など）
• 評価指標：平均二乗誤差（MSE）、平均絶対誤差（MAE）、決定係数（R²）など
• 例：家の価格予測、気温の予測、売上の予測

両者の違いは、出力が離散値か連続値かという点にあります。分類は「どれに属するか」を、回帰は「どのくらいの値か」を予測します。

混同行列とは、分類問題の性能を評価するための表で、実際のクラスと予測したクラスの組み合わせを表にまとめたものです。2クラス分類の場合、以下のような4つのセルで構成されます：

• 真陽性（True Positive, TP）：正例を正しく正例と予測
• 偽陽性（False Positive, FP）：負例を誤って正例と予測（第1種の過誤）
• 真陰性（True Negative, TN）：負例を正しく負例と予測
• 偽陰性（False Negative, FN）：正例を誤って負例と予測（第2種の過誤）

混同行列から計算できる指標：

• 精度（Accuracy）：(TP + TN) / (TP + TN + FP + FN)
• 適合率（Precision）：TP / (TP + FP) - 正例と予測した中で実際に正例だった割合
• 再現率（Recall）：TP / (TP + FN) - 実際の正例のうち、正しく正例と予測できた割合
• F1スコア：適合率と再現率の調和平均
  • 計算式：F1 = 2 × (Precision × Recall) / (Precision + Recall)
  • または：F1 = 2TP / (2TP + FP + FN)

混同行列を見ることで、モデルがどのクラスを誤分類しやすいかを視覚的に理解でき、改善の方向性を見つけることができます。

機械学習では、データを3つのセットに分割して使用します：

訓練データ（Training Data）

• モデルを学習させるために使用するデータ
• モデルがこのデータからパターンを学習します
• 通常、全データの60-80%を使用

バリデーションデータ（Validation Data）

• モデルの性能を評価し、ハイパーパラメータを調整するために使用
• 訓練中にモデルの汎化性能を監視し、過学習を検出
• 通常、全データの10-20%を使用
• 交差検証を使う場合、この役割を交差検証が担うこともあります

テストデータ（Test Data）

• 最終的なモデルの性能を評価するために使用
• 一度だけ使用し、モデルの選択や調整には使用しない
• 本番環境での性能を推定するためのデータ
• 通常、全データの10-20%を使用

重要なポイント：

• テストデータは最後まで触らない（データリークを防ぐため）
• バリデーションデータでハイパーパラメータを調整し、テストデータで最終評価
• 3つのセットは互いに重複しないように分割する

正規化（Normalization / Min-Max Scaling）

• データを0から1の範囲にスケーリングします
• 式：(x - min) / (max - min)
• 特徴：最小値が0、最大値が1になる
• 使用例：画像データのピクセル値（0-255を0-1に変換）、ニューラルネットワークの入力層
• メリット：外れ値の影響を受けやすい

標準化（Standardization / Z-score Normalization）

• データの平均を0、標準偏差を1に変換します
• 式：(x - mean) / std
• 特徴：平均が0、標準偏差が1になる
• 使用例：異なるスケールの特徴量を扱う場合（例：年齢と年収）
• メリット：外れ値に対してより頑健

使い分け：

• 正規化：データの分布が一様で、範囲が明確な場合（画像、0-1の確率など）
• 標準化：データが正規分布に近い場合、外れ値がある場合、異なるスケールの特徴量を扱う場合

どちらも、異なるスケールの特徴量を同じスケールに揃えることで、モデルの学習を安定させ、収束を早める効果があります。

バイアスとバリアンスは、モデルの誤差を構成する2つの主要な要素です。

バイアス（Bias）

• モデルがデータの真の関係性をどれだけ正確に捉えられるかを表します
• バイアスが高い（Underfitting）：モデルが単純すぎて、データのパターンを十分に学習できない
• 例：線形モデルで非線形の関係を表現しようとする場合

バリアンス（Variance）

• モデルが訓練データの変動にどれだけ敏感に反応するかを表します
• バリアンスが高い（Overfitting）：モデルが複雑すぎて、訓練データのノイズまで学習してしまう
• 例：非常に複雑なニューラルネットワークが訓練データに過度に適合

トレードオフ：

• バイアスを減らそうとモデルを複雑にすると、バリアンスが増える傾向があります
• バリアンスを減らそうとモデルを単純にすると、バイアスが増える傾向があります
• 理想は、両方をバランスよく低く保つことです

総誤差 = バイアス² + バリアンス + 既約誤差（Irreducible Error）

対策：

• バイアスを減らす：モデルを複雑にする、特徴量を増やす、正則化を減らす
• バリアンスを減らす：モデルを単純にする、正則化を増やす、データを増やす、ドロップアウトを使う

勾配降下法とは： 勾配降下法は、損失関数を最小化するために、パラメータを損失関数の勾配（傾き）の逆方向に更新していく最適化手法です。山の頂上から最も急な下り坂を進んで谷（最小値）を見つけるイメージです。

学習方法の違い：

バッチ学習（Batch Learning）

• 全訓練データを使って一度に学習
• メリット：安定した勾配、理論的に最適解に近づきやすい
• デメリット：メモリ使用量が大きい、計算が遅い、局所最適解に陥りやすい
• データセットが小さい場合に適している

ミニバッチ学習（Mini-batch Learning）

• 訓練データを小さなグループ（ミニバッチ）に分けて、各ミニバッチごとに学習
• メリット：バッチ学習とオンライン学習の中間的な特性、並列計算が可能
• デメリット：ミニバッチサイズの調整が必要
• 最も一般的に使用される手法

オンライン学習（Online Learning / Stochastic Gradient Descent）

• 1つのサンプルずつ順次学習
• メリット：メモリ使用量が少ない、リアルタイムで学習可能、局所最適解を回避しやすい
• デメリット：勾配が不安定、収束が遅い場合がある
• データが逐次的に到着する場合や、大規模データセットに適している

学習率（Learning Rate）：各ステップでパラメータを更新する際の大きさを制御するハイパーパラメータで、適切な設定が重要です。

適合率（Precision）

• 式：TP / (TP + FP)
• 意味：モデルが「正例」と予測した中で、実際に正例だった割合
• 「予測の正確さ」を表します
• 例：100件をスパムと予測したうち、実際にスパムが80件なら適合率は80%

再現率（Recall）

• 式：TP / (TP + FN)
• 意味：実際の正例のうち、モデルが正しく「正例」と予測できた割合
• 「取りこぼしの少なさ」を表します
• 例：実際のスパムが100件のうち、80件を検出できたら再現率は80%

どちらを重視すべきか：

適合率を重視する場合：

• 偽陽性（FP）のコストが高い場合
• 例：病気の診断で「健康な人を病気と誤診する」ことを避けたい場合
• 例：商品のレコメンデーションで「ユーザーが興味のない商品を推薦する」ことを避けたい場合

再現率を重視する場合：

• 偽陰性（FN）のコストが高い場合
• 例：病気の診断で「病気の人を見逃す」ことを避けたい場合
• 例：スパムメールの検出で「スパムを見逃す」ことを避けたい場合

F1スコア：適合率と再現率の調和平均で、両方のバランスを取った指標です。どちらを重視すべきか明確でない場合は、F1スコアを使用することが多いです。

計算式：

• F1 = 2 × (Precision × Recall) / (Precision + Recall)
• または：F1 = 2TP / (2TP + FP + FN)

調和平均を使うことで、適合率と再現率の両方が低い場合にF1スコアも低くなり、バランスの良い評価ができます。

決定木は、データを条件分岐によって分類・回帰する機械学習アルゴリズムです。木構造を使って、ルート（根）からリーフ（葉）まで、条件に基づいてデータを分割していきます。

基本的な仕組み：

1. ルートノード：全てのデータから開始
2. 分割（Split）：最適な特徴量と閾値を見つけてデータを分割
3. 内部ノード：分割条件を表す
4. リーフノード：最終的な予測結果（クラスまたは値）

分割基準：

• 分類問題：ジニ不純度（Gini Impurity）やエントロピー（Entropy）を最小化
• 回帰問題：平均二乗誤差（MSE）を最小化

メリット：

• 解釈が容易（if-thenルールとして理解できる）
• 特徴量のスケーリングが不要
• 非線形の関係も捉えられる
• 欠損値の処理が比較的容易

デメリット：

• 過学習しやすい
• データの小さな変化に敏感
• 複雑な関係を捉えるのが難しい場合がある

改善手法：

• ランダムフォレスト：複数の決定木を組み合わせる
• 勾配ブースティング：弱学習器を順次改善していく
• 剪定（Pruning）：木の深さを制限して過学習を防ぐ

決定木は、その解釈のしやすさから、ビジネスでの説明が必要な場面でよく使用されます。