一問一答で学ぶ機械学習【アルゴリズム編】

線形回帰は、連続値を予測する回帰問題に使用される最も基本的なアルゴリズムです。入力特徴量と出力の間に線形関係があると仮定し、その関係を表す直線（または超平面）を学習します。

基本的な式：

• 単回帰：y = ax + b（a: 傾き、b: 切片）
• 重回帰：y = w₁x₁ + w₂x₂ + ... + wₙxₙ + b
• ベクトル表記：y = wᵀx + b（w: 重みベクトル、b: バイアス）

学習方法：

1. 最小二乗法（Ordinary Least Squares, OLS）：残差の二乗和を最小化するパラメータを求める
2. 勾配降下法：損失関数（平均二乗誤差、MSE）の勾配を使ってパラメータを更新

損失関数：

• MSE = (1/n) Σ(yᵢ - ŷᵢ)²（n: サンプル数、yᵢ: 実際の値、ŷᵢ: 予測値）

メリット：

• 解釈が容易
• 計算が高速
• 過学習しにくい（正則化を追加可能）

デメリット：

• 非線形関係を捉えられない
• 外れ値の影響を受けやすい
• 特徴量間の相関が高い場合（多重共線性）に問題が生じる

ロジスティック回帰は「回帰」という名前がついていますが、実際には分類問題に使用されます。名前の由来は、線形回帰の出力をロジスティック関数（シグモイド関数）で変換することで、確率として解釈できるようにしたためです。

基本的な仕組み：

1. 線形回帰と同様に、特徴量の線形結合を計算：z = wᵀx + b
2. シグモイド関数で0から1の範囲に変換：p = 1 / (1 + e⁻ᶻ)
3. この確率pを使って分類を行う（例：p > 0.5ならクラス1、それ以外ならクラス0）

シグモイド関数の特徴：

• 出力が0から1の範囲に収まる
• S字カーブを描く
• zが大きいとpは1に近づき、zが小さいとpは0に近づく

損失関数：

• 交差エントロピー誤差（Cross-Entropy Loss）
• L = -Σ[yᵢ log(pᵢ) + (1-yᵢ) log(1-pᵢ)]

なぜ「回帰」という名前か：

• 歴史的な経緯：線形回帰を拡張した手法として開発された
• 内部的には連続値（確率）を予測してから分類に変換している

メリット：

• 確率を出力できる（不確実性を評価可能）
• 解釈が容易（各特徴量の影響度を確認できる）
• 計算が高速
• 正則化を追加しやすい

デメリット：

• 線形分離可能な問題に適している（非線形関係には弱い）
• 特徴量間の相互作用を捉えにくい

k-NNは、新しいデータ点に対して、訓練データの中で最も近いk個のデータ点（近傍）を見つけ、そのk個の多数決で分類・回帰を行うアルゴリズムです。教師あり学習の一種ですが、実際には訓練データをそのまま保持するだけの「怠惰学習（Lazy Learning）」です。

分類問題での動作：

1. 新しいデータ点xが与えられる
2. 訓練データからxに最も近いk個のデータ点を見つける（距離計算：ユークリッド距離、マンハッタン距離など）
3. k個の近傍のクラスを確認し、最も多いクラスに分類

回帰問題での動作：

• k個の近傍の値の平均を予測値とする

距離の計算方法：

• ユークリッド距離：√Σ(xᵢ - yᵢ)²（最も一般的）
• マンハッタン距離：Σ|xᵢ - yᵢ|
• コサイン類似度：ベクトルの角度で距離を測る

kの値の選び方：

• kが小さい場合（k=1など）：
  • メリット：局所的なパターンを捉えやすい
  • デメリット：ノイズに敏感、過学習しやすい
• kが大きい場合：
  • メリット：ノイズに頑健、滑らかな決定境界
  • デメリット：局所的なパターンを見逃す可能性、計算コストが高い

一般的な選び方：

• k = √n（nは訓練データ数）を初期値として試す
• 交差検証で最適なkを探索
• 通常、kは奇数にすることが多い（分類問題で同票を避けるため）

メリット：

• 実装が簡単
• 非線形の関係も捉えられる
• 訓練が不要（データを保持するだけ）

デメリット：

• 予測時に全訓練データとの距離計算が必要（計算コストが高い）
• 次元の呪いの影響を受けやすい
• 特徴量のスケーリングが重要

SVMは、分類問題において、クラス間のマージン（余白）を最大化するように決定境界を引くアルゴリズムです。マージンを最大化することで、汎化性能の高いモデルを構築できます。

基本的な考え方（線形SVM）：

1. 2つのクラスを分離する直線（決定境界）を引く
2. その直線から最も近いデータ点（サポートベクター）までの距離（マージン）を最大化する
3. マージンが最大になるような決定境界を選択

ハードマージンとソフトマージン：

• ハードマージン：完全に線形分離可能な場合、全てのデータ点を正しく分類
• ソフトマージン：完全に分離できない場合、誤分類を許容する（Cパラメータで制御）

カーネル法： 線形分離できない場合、カーネル関数を使って高次元空間に写像し、その空間で線形分離を行う：

• 線形カーネル：K(x, y) = xᵀy
• 多項式カーネル：K(x, y) = (γxᵀy + r)ᵈ
• RBFカーネル（ガウシアンカーネル）：K(x, y) = exp(-γ||x - y||²)（最も一般的）

主なパラメータ：

• C：誤分類の許容度（大きいほど誤分類を許さない）
• γ（gamma）：RBFカーネルの影響範囲（大きいほど複雑な境界）

メリット：

• 高次元データに強い
• カーネル法により非線形問題にも対応可能
• サポートベクターのみが重要（メモリ効率が良い）

デメリット：

• 大規模データには計算コストが高い
• パラメータ調整が重要
• 確率を直接出力できない

ナイーブベイズは、ベイズの定理を利用した分類アルゴリズムです。「ナイーブ（naive）」とは「単純な」という意味で、特徴量間の独立性を仮定していることを指します。この仮定は現実的には成り立たないことが多いですが、それでも多くの場合に良好な性能を示します。

ベイズの定理： P(クラス|特徴) = P(特徴|クラス) × P(クラス) / P(特徴)

ナイーブな仮定： 各特徴量が互いに独立であると仮定： P(x₁, x₂, ..., xₙ|クラス) = P(x₁|クラス) × P(x₂|クラス) × ... × P(xₙ|クラス)

なぜ「ナイーブ」か：

• 現実では特徴量間に関連があることが多い（例：年齢と年収）
• この独立性の仮定は「単純すぎる（naive）」ため、この名前がついた

なぜうまく動作するのか：

1. 分類に必要なのは順序：確率の正確な値ではなく、クラス間の大小関係が重要
2. 独立性の仮定の影響が相殺される：誤差が各特徴量で発生しても、全体としては相殺される傾向
3. データが少なくても動作：各特徴量の条件付き確率を個別に推定できるため、少ないデータでも学習可能
4. 実装が簡単で高速：確率の計算が単純

主な種類：

• ガウシアンナイーブベイズ：連続値特徴量に使用、正規分布を仮定
• 多項ナイーブベイズ：カウントデータ（例：単語の出現回数）に使用
• ベルヌーイナイーブベイズ：二値特徴量に使用

メリット：

• 学習・予測が高速
• 少ないデータでも動作
• 実装が簡単
• テキスト分類（スパム判定など）に特に有効

デメリット：

• 独立性の仮定が現実的でない
• 特徴量間の相互作用を捉えられない

k-meansは、教師なし学習のクラスタリング手法で、データをk個のクラスタに分割します。各クラスタは、そのクラスタの中心（セントロイド）からの距離が最小になるようにデータを割り当てます。

アルゴリズムの手順：

1. 初期化：k個のセントロイドをランダムに選択（またはk-means++などの手法で初期化）
2. 割り当て（Assignment）：各データ点を最も近いセントロイドのクラスタに割り当て
3. 更新（Update）：各クラスタのセントロイドを、そのクラスタに属するデータ点の平均に更新
4. 収束判定：セントロイドの位置が変化しなくなる、または変化が閾値以下になるまで、ステップ2と3を繰り返す

距離の計算：

• 通常はユークリッド距離を使用：||x - c||²（x: データ点、c: セントロイド）

目的関数（最小化する関数）：

• クラスタ内誤差平方和（Within-Cluster Sum of Squares, WCSS）
• WCSS = Σᵢ Σⱼ ||xᵢⱼ - cᵢ||²（i: クラスタ、j: データ点）

kの選び方：

• エルボー法：kを変えながらWCSSをプロットし、急激に減少が止まる点（エルボー）を選択
• シルエット分析：クラスタの分離度を評価
• ドメイン知識：ビジネス要件に基づいてkを決定

メリット：

• 実装が簡単
• 計算が高速（O(nkd)、n: データ数、k: クラスタ数、d: 次元数）
• 大規模データにも適用可能

デメリット：

• kを事前に指定する必要がある
• 初期値に依存する（異なる初期値で異なる結果になる可能性）
• クラスタの形状が球形を仮定（非球形のクラスタには不適切）
• 外れ値の影響を受けやすい

改善手法：

• k-means++：初期セントロイドを適切に選択
• k-medoids：セントロイドをデータ点から選択（外れ値に頑健）

ランダムフォレストは、複数の決定木を組み合わせたアンサンブル学習手法です。「ランダム」という名前は、2つのランダム性に由来します。

ランダム性の2つの要素：

1. ブートストラップサンプリング：訓練データからランダムに復元抽出して、各決定木の訓練データを作成
2. 特徴量のランダム選択：各ノードの分割時に、全特徴量からランダムに選択した特徴量のみを候補とする

アンサンブル学習の考え方：

• バギング（Bootstrap Aggregating）：複数の弱学習器（決定木）を独立に学習し、その予測を平均（回帰）または多数決（分類）で統合
• 「三人寄れば文殊の知恵」：複数のモデルの意見を集約することで、単一のモデルよりも汎化性能が向上

アルゴリズムの流れ：

1. 訓練データからブートストラップサンプルをn個作成（nは決定木の数）
2. 各サンプルで決定木を学習（各ノードで特徴量をランダム選択）
3. 新しいデータに対して、全決定木の予測を集約

集約方法：

• 分類：各決定木の予測クラスで多数決
• 回帰：各決定木の予測値の平均

メリット：

• 過学習に強い（各決定木は異なるデータで学習）
• 外れ値に頑健
• 特徴量の重要度を計算できる
• ハイパーパラメータ調整が比較的容易
• 並列化が容易

デメリット：

• 解釈が難しい（決定木の集合のため）
• メモリ使用量が多い
• 線形関係を捉えるのが苦手

主要なパラメータ：

• n_estimators：決定木の数（多いほど性能向上、ただし計算コスト増）
• max_depth：決定木の最大深度
• max_features：各ノードで考慮する特徴量の数

勾配ブースティングとランダムフォレストは、どちらも決定木を使ったアンサンブル手法ですが、学習方法が大きく異なります。

ランダムフォレスト（バギング）：

• 並列学習：複数の決定木を独立に並列に学習
• 独立した学習：各決定木は互いに影響を与えない
• ブートストラップサンプリング：各決定木は異なるデータサンプルで学習
• 予測の統合：各決定木の予測を平均または多数決

勾配ブースティング（ブースティング）：

• 逐次学習：決定木を1つずつ順番に学習
• 誤差の修正：前の決定木が間違えた部分を次の決定木が修正するように学習
• 同じデータを使用：全決定木が同じ訓練データを使用（重み付けは異なる）
• 予測の統合：各決定木の予測を重み付きで加算

勾配ブースティングのアルゴリズム：

1. 最初の決定木を学習（全データに同じ重み）
2. 残差（誤差）を計算
3. 残差を予測する次の決定木を学習
4. 予測を更新：F(x) = F₀(x) + α × F₁(x)（α: 学習率）
5. ステップ2-4を繰り返す

主な実装：

• XGBoost：高速で高性能、正則化機能あり
• LightGBM：XGBoostより高速、大規模データに強い
• CatBoost：カテゴリ変数の処理に優れる

比較：

使い分け：

• ランダムフォレスト：並列化したい、パラメータ調整を簡単にしたい場合
• 勾配ブースティング：最高の性能を追求したい、時間をかけて調整できる場合

PCAは、次元削減の手法で、元のデータの情報をできるだけ保持しながら、より少ない次元で表現します。高次元データを可視化したり、計算コストを削減したりする際に使用されます。

目的：

1. 次元削減：高次元データを低次元に圧縮
2. 可視化：2次元や3次元に圧縮してデータを可視化
3. ノイズ除去：重要な情報を保持しつつ、ノイズを除去
4. 計算コストの削減：特徴量の数を減らして計算を高速化

基本的な仕組み：

1. データの標準化：各特徴量を平均0、分散1に標準化
2. 共分散行列の計算：特徴量間の相関を表す共分散行列を計算
3. 固有値分解：共分散行列の固有値と固有ベクトルを計算
4. 主成分の選択：固有値が大きい順に主成分（固有ベクトル）を選択
5. 射影：元のデータを主成分空間に射影

主成分の意味：

• 第1主成分：データの分散が最大になる方向
• 第2主成分：第1主成分と直交し、残りの分散が最大になる方向
• 以降も同様に、直交する方向で分散が最大になる成分を順次選択

寄与率と累積寄与率：

• 寄与率：各主成分が全体の分散の何%を説明するか
• 累積寄与率：上位k個の主成分で全体の分散の何%を説明するか
• 通常、累積寄与率が80-90%になる主成分数を選択

メリット：

• データの構造を保持しながら次元削減
• 計算が比較的簡単
• 可視化に有効
• 線形変換のため解釈が容易

デメリット：

• 線形関係しか捉えられない（非線形関係には不適切）
• 主成分の解釈が難しい場合がある
• 情報の損失が発生する（完全に元のデータを再現できない）

注意点：

• PCAは教師なし学習なので、クラス情報は使用しない
• 標準化が重要（スケールが異なる特徴量がある場合）

ニューラルネットワークは、人間の脳の神経回路を模倣した機械学習モデルで、複数の層（レイヤー）から構成されます。

基本的な構造：

1. 入力層（Input Layer）：データを受け取る層
2. 隠れ層（Hidden Layer）：中間で処理を行う層（1層以上）
3. 出力層（Output Layer）：最終的な予測を出力する層

各層の役割：

入力層：

• 特徴量の数だけニューロン（ノード）がある
• データをそのまま受け取り、次の層に渡す
• 通常、活性化関数は適用しない（恒等関数）

隠れ層：

• データの特徴を抽出・変換する
• 複数の隠れ層を重ねることで、より複雑なパターンを学習可能（深層学習）
• 各ニューロンは、前の層からの入力の重み付き和を計算し、活性化関数を通す
• 計算式：h = f(Wx + b)（W: 重み行列、x: 入力、b: バイアス、f: 活性化関数）

出力層：

• タスクに応じた形式で予測を出力
• 回帰問題：1つのニューロン、活性化関数なし（または線形）
• 2クラス分類：1つのニューロン、シグモイド関数
• 多クラス分類：クラス数だけニューロン、ソフトマックス関数

活性化関数の役割：

• 非線形性を導入（線形変換だけでは表現力が限られる）
• 代表的な活性化関数：
  • ReLU：f(x) = max(0, x)（最も一般的）
  • シグモイド：f(x) = 1 / (1 + e⁻ˣ)
  • tanh：f(x) = (eˣ - e⁻ˣ) / (eˣ + e⁻ˣ)

順伝播（Forward Propagation）： 入力から出力に向かって、各層で計算を順次実行していく過程

逆伝播（Backpropagation）： 出力の誤差を入力側に向かって逆に伝播させ、各層の重みを更新する過程

メリット：

• 非線形の複雑な関係を学習可能
• 特徴量エンジニアリングが比較的不要（自動的に特徴を学習）
• 様々なタスクに適用可能

デメリット：

• 大量のデータと計算資源が必要
• ハイパーパラメータの調整が複雑
• 解釈が難しい（ブラックボックス）

バックプロパゲーションは、ニューラルネットワークの学習において、出力層の誤差を入力層に向かって逆に伝播させ、各層の重みを更新するアルゴリズムです。

基本的な流れ：

1. 順伝播：入力から出力まで計算し、予測値と実際の値の誤差を計算
2. 誤差の計算：損失関数（例：平均二乗誤差、交差エントロピー）で誤差を計算
3. 逆伝播：出力層から入力層に向かって、誤差を逆に伝播
4. 重みの更新：各層の重みを勾配降下法で更新

数学的な仕組み：

• 連鎖律（Chain Rule）：合成関数の微分を利用
• 出力層の誤差δᴸを計算
• 各層lの誤差δˡを、次の層の誤差δˡ⁺¹から計算：δˡ = (Wˡ⁺¹)ᵀ δˡ⁺¹ ⊙ f'(zˡ)（⊙: 要素積、f': 活性化関数の微分）
• 重みの勾配：∂L/∂Wˡ = δˡ (aˡ⁻¹)ᵀ（a: 活性化後の値）
• 重みの更新：Wˡ ← Wˡ - α × ∂L/∂Wˡ（α: 学習率）

なぜ逆伝播が必要か：

• ニューロン数が多くなると、各重みの影響を直接計算するのは困難
• 連鎖律を利用することで、効率的に全ての重みの勾配を一度に計算できる

メリット：

• 効率的に全ての重みを更新できる
• 深いネットワークでも学習可能
• 自動微分により実装が容易（PyTorch、TensorFlowなど）

注意点：

• 学習率の設定が重要（大きすぎると発散、小さすぎると収束が遅い）
• 重みの初期化が重要（Xavier初期化、He初期化など）

勾配消失問題と勾配爆発問題は、深いニューラルネットワークの学習において、逆伝播の過程で勾配が適切に伝播しなくなる問題です。

勾配消失問題（Vanishing Gradient Problem）：

問題の内容：

• 深いネットワークで、逆伝播の過程で勾配が0に近づいてしまう
• 入力層に近い層の重みがほとんど更新されなくなる
• 結果として、深いネットワークが学習できない

なぜ発生するか：

1. 活性化関数の微分が小さい：

   • シグモイド関数：f'(x) = f(x)(1-f(x))、最大値が0.25
   • tanh関数：f'(x) = 1 - tanh²(x)、最大値が1
   • 連鎖律により、各層で勾配が小さくなり、層を重ねるごとに指数関数的に小さくなる

2. 重みの初期値が小さい：

   • 重みが小さいと、勾配も小さくなる

3. 数学的な説明：

   • 勾配は連鎖律により、各層の活性化関数の微分と重みの積になる
   • 各層で0.5以下の値が掛け合わされると、層数が増えるごとに指数関数的に小さくなる
   • 例：10層で各層0.5なら、0.5¹⁰ ≈ 0.001

解決策：

1. ReLU活性化関数の使用：

   • ReLUの微分は1（x > 0の場合）なので、勾配が消失しにくい
   • ただし、x ≤ 0の場合は勾配が0になる（死んだReLU問題）

2. 残差接続（Residual Connection）：

   • ResNetで使用される手法
   • スキップ接続により、勾配が直接伝播する経路を作る
   • 式：y = F(x) + x（F: 変換、x: 入力）

3. 適切な重みの初期化：

   • Xavier初期化、He初期化など
   • 各層の出力の分散を適切に保つ

4. バッチ正規化（Batch Normalization）：

   • 各層の入力を正規化することで、学習を安定化
   • 勾配の伝播を改善

5. 勾配クリッピング：

   • 勾配が小さくなりすぎないように、最小値を設定

勾配爆発問題（Exploding Gradient Problem）：

問題の内容：

• 逆伝播の過程で勾配が非常に大きくなってしまう
• 重みの更新が大きすぎて、学習が不安定になる
• 損失関数が発散したり、NaN（Not a Number）が発生する

なぜ発生するか：

1. 重みの初期値が大きい：

   • 重みが大きいと、勾配も大きくなる

2. 活性化関数の微分が大きい：

   • 活性化関数の微分が1より大きい場合、層を重ねるごとに勾配が大きくなる

3. 学習率が大きい：

   • 学習率が大きすぎると、更新が大きくなりすぎる

4. 数学的な説明：

   • 各層で1より大きい値が掛け合わされると、層数が増えるごとに指数関数的に大きくなる
   • 例：10層で各層1.5なら、1.5¹⁰ ≈ 57.7

解決策：

1. 勾配クリッピング（Gradient Clipping）：

   • 勾配の最大値を制限（例：1.0や5.0）
   • 式：gradient = min(gradient, threshold) または gradient = gradient / max(1, ||gradient||/threshold)

2. 適切な重みの初期化：

   • 重みを小さめに初期化
   • Xavier初期化、He初期化など

3. 学習率の調整：

   • 学習率を小さくする
   • 学習率スケジューリングを使用

4. バッチ正規化：

   • 各層の入力を正規化することで、学習を安定化

5. 重みの正則化：

   • L2正則化などで重みを制限

両方の問題への対処：

• 適切なアーキテクチャの選択：ResNet、DenseNetなど、勾配の伝播を改善するアーキテクチャ
• 注意深いハイパーパラメータ調整：学習率、重みの初期化、正則化の強さなど
• 勾配の監視：学習中に勾配の大きさを監視し、問題を早期に検出

これらの問題を理解し、適切に対処することで、深いニューラルネットワークを効果的に学習できるようになります。

畳み込み操作は、CNNの核心となる操作で、フィルタ、ストライド、パディングという3つの重要な概念があります。

フィルタ（Filter / Kernel）とは：

• 畳み込み操作で使用する小さな行列（例：3×3、5×5）
• 画像上をスライドさせながら、局所的な特徴を抽出するための「テンプレート」
• 各要素は学習可能なパラメータ（重み）
• 例：エッジ検出用のフィルタ、ぼかし用のフィルタなど

ストライド（Stride）とは：

• フィルタを画像上で移動させる際の「ステップ幅」
• ストライド=1：フィルタを1ピクセルずつ移動
• ストライド=2：フィルタを2ピクセルずつ移動
• ストライドが大きいほど：出力サイズが小さくなる、計算量が減る、情報が失われる

パディング（Padding）とは：

• 入力画像の周囲に追加する値（通常は0）
• ゼロパディング（Zero Padding）：周囲に0を追加
• パディングの目的：
  1. 出力サイズを調整（入力と同じサイズに保つなど）
  2. 境界の情報を保持（端のピクセルもフィルタの中心になるように）
  3. 情報の損失を防ぐ

出力サイズの計算式： 出力サイズ = (入力サイズ + 2×パディング - フィルタサイズ) / ストライド + 1

具体例：

例1：パディングなし、ストライド=1

• 入力：5×5の画像
• フィルタ：3×3
• パディング：0
• ストライド：1
• 出力サイズ = (5 + 2×0 - 3) / 1 + 1 = 3×3

例2：パディングあり、ストライド=1（出力サイズを入力と同じに）

• 入力：5×5の画像
• フィルタ：3×3
• パディング：1（周囲に1ピクセル分の0を追加）
• ストライド：1
• 出力サイズ = (5 + 2×1 - 3) / 1 + 1 = 5×5（入力と同じサイズ）

例3：ストライド=2（ダウンサンプリング）

• 入力：7×7の画像
• フィルタ：3×3
• パディング：1
• ストライド：2
• 出力サイズ = (7 + 2×1 - 3) / 2 + 1 = 4×4

パディングの種類：

• Valid Padding（パディングなし）：パディング=0、出力サイズが小さくなる
• Same Padding：出力サイズを入力サイズと同じにするためのパディング
  • パディング = (フィルタサイズ - 1) / 2（フィルタサイズが奇数の場合）
  • 例：3×3フィルタなら、パディング=1でSame Padding

各パラメータの影響：

フィルタサイズ：

• 小さい（3×3など）：細かい特徴を捉える、計算が速い
• 大きい（7×7など）：広い範囲の特徴を捉える、計算が遅い

ストライド：

• 小さい（1など）：詳細な情報を保持、計算量が多い
• 大きい（2以上）：ダウンサンプリング効果、計算量が少ない

パディング：

• なし：情報が失われる可能性、出力サイズが小さくなる
• あり：情報を保持、出力サイズを調整可能

実際の使用例：

• VGG：3×3フィルタ、パディング=1、ストライド=1を多用
• ResNet：最初の層で7×7フィルタ、ストライド=2でダウンサンプリング
• MobileNet：深度方向分離畳み込みで効率化

これらの概念を理解することで、CNNのアーキテクチャを設計したり、既存のモデルを理解したりできるようになります。

CNNは、画像認識などに特化したニューラルネットワークで、畳み込み層とプーリング層を組み合わせて、画像の特徴を階層的に抽出します。

畳み込み層（Convolutional Layer）の役割：

• 特徴マップの抽出：フィルタ（カーネル）を使って、画像から局所的な特徴（エッジ、テクスチャなど）を抽出
• パラメータ共有：同じフィルタを画像全体に適用することで、パラメータ数を削減し、位置に依存しない特徴抽出を実現
• 計算方法：フィルタを画像上でスライドさせながら、要素積の和を計算（内積）

畳み込みの具体例：

• 入力：28×28の画像
• フィルタ：3×3のカーネル
• 出力：26×26の特徴マップ（ストライド=1、パディング=0の場合）
• 複数のフィルタを使うことで、異なる特徴を同時に抽出

プーリング層（Pooling Layer）の役割：

• 次元削減：特徴マップのサイズを縮小して、計算量を削減
• 位置不変性：小さな位置ずれに対して頑健になる
• 過学習の抑制：情報を集約することで、過学習を抑制

主なプーリング手法：

• 最大プーリング（Max Pooling）：領域内の最大値を取る（最も一般的）
• 平均プーリング（Average Pooling）：領域内の平均値を取る
• グローバル平均プーリング：特徴マップ全体の平均を取る

CNNの典型的な構造：

1. 畳み込み層 + 活性化関数（ReLU）
2. プーリング層
3. 上記を繰り返し（複数回）
4. 全結合層（Fully Connected Layer）：最終的な分類・回帰

なぜCNNが画像に適しているか：

1. 局所的な特徴の抽出：画像の局所的なパターン（エッジなど）を効率的に抽出
2. パラメータ数の削減：全結合層と比べて、パラメータ数が大幅に削減
3. 階層的な特徴学習：低レベル（エッジ）→中レベル（形状）→高レベル（物体）と階層的に学習
4. 並進不変性：物体の位置が変わっても認識できる

代表的なアーキテクチャ：

• LeNet：初期のCNN
• AlexNet：深層学習ブームの火付け役
• VGG：小さなフィルタを重ねる構造
• ResNet：残差接続で非常に深いネットワークを実現
• EfficientNet：効率的なアーキテクチャ

RNNとLSTMは、時系列データや自然言語処理など、順序のあるデータを扱うためのニューラルネットワークです。

RNN（Recurrent Neural Network）の特徴：

• 時系列の処理：過去の情報を保持する隠れ状態（hidden state）を持つ
• 再帰的な構造：同じ層を時系列に沿って繰り返し適用
• 計算式：hₜ = f(Wₕₕhₜ₋₁ + Wₓₕxₜ + b)（h: 隠れ状態、x: 入力、t: 時刻）

RNNの問題点：

1. 勾配消失問題：時系列が長くなると、過去の情報が伝播しにくくなる
2. 長期依存の学習が困難：長期的な文脈を捉えられない
3. 勾配爆発問題：逆伝播の過程で勾配が大きくなりすぎる場合もある

LSTM（Long Short-Term Memory）の解決策： LSTMは、RNNの問題を解決するために開発された改良版で、以下の3つのゲートで情報の流れを制御します：

1. 忘却ゲート（Forget Gate）：過去の情報をどの程度忘れるかを決定
2. 入力ゲート（Input Gate）：新しい情報をどの程度記憶するかを決定
3. 出力ゲート（Output Gate）：隠れ状態からどの情報を出力するかを決定

LSTMの構造：

• セル状態（Cell State）：長期的な情報を保持する「記憶」
• 隠れ状態（Hidden State）：短期的な情報を保持
• ゲートにより、セル状態への情報の追加・削除を制御

なぜLSTMが必要になったか：

• 長期依存の学習：時系列が長いデータでも、重要な情報を長期にわたって保持可能
• 勾配消失の緩和：セル状態により、勾配が安定して伝播
• 実用的な性能：自然言語処理、音声認識、時系列予測などで高い性能を発揮

GRU（Gated Recurrent Unit）：

• LSTMの簡略版で、ゲートを2つに削減（リセットゲート、更新ゲート）
• LSTMよりパラメータが少なく、計算が高速
• 多くの場合、LSTMと同等の性能

現在の主流：

• Transformer：Attention機構を使ったモデル（BERT、GPTなど）
• RNN/LSTMより並列化が容易で、長距離依存の学習に優れる
• ただし、RNN/LSTMも特定のタスクでは依然として有効

使い分け：

• RNN/LSTM：時系列データ、逐次的な処理が必要な場合
• Transformer：自然言語処理、大規模なデータ、並列化が重要な場合