一問一答で学ぶLLM（大規模言語モデル）【基礎編】

LLM（Large Language Model、大規模言語モデル）は、大量のテキストデータを学習した深層学習モデルです。

「大規模」と言われる理由：

1. パラメータ数が大きい

   • パラメータ数が数十億〜数千億個
   • 例：GPT-3は1750億パラメータ、GPT-4は推定1兆以上

2. 学習データが膨大

   • インターネット上のテキスト、書籍、論文など、膨大なデータを学習
   • 例：GPT-3は約570GBのテキストデータを学習

3. 計算リソースが大きい

   • 学習には大量のGPUやTPUが必要
   • 学習コストが非常に高い

LLMの特徴：

• 汎用性が高い：様々なタスクに対応可能
• 文脈を理解：前後の文脈を考慮して応答
• ゼロショット学習：学習していないタスクでも対応可能
• 自然な対話：人間のような自然な会話が可能

主な用途：

• チャットボット、質問応答、文章生成、翻訳、要約、コード生成など

ChatGPTは、OpenAIが開発したチャット型のLLMです。

開発会社：OpenAI

• 2015年に設立されたAI研究企業
• 当初は非営利組織として設立、後に営利部門を設立
• マイクロソフトが多額の投資を行っている

主な特徴：

1. GPTシリーズをベース

   • GPT-3.5、GPT-4、GPT-5.1などのモデルを使用
   • GPT-5.1は2025年11月12日にリリース

2. 対話型インターフェース

   • チャット形式で自然な対話が可能
   • 文脈を理解して継続的な会話ができる

3. 多様なタスクに対応

   • 文章生成、要約、翻訳、コード生成、質問応答など
   • クリエイティブなタスクにも対応

4. 安全性への配慮

   • 有害なコンテンツの生成を抑制
   • 倫理的なガイドラインに従うよう設計

5. GPT-5.1の新機能

   • Instantモード：瞬時に回答を生成
   • Thinkingモード：複雑なタスクに対して深く思考して回答
   • カスタマイズ機能：応答のトーンやスタイルを調整可能（デフォルト、フレンドリー、無駄がない、プロフェッショナル、率直、個性的など）

バージョン：

• ChatGPT（GPT-3.5ベース）：無料版
• ChatGPT Plus（GPT-4、GPT-5.1ベース）：有料版（月額制）

強み：

• 汎用性が高い、自然な対話、多様なタスクに対応

弱み：

• 最新情報が限定的（学習データの時点まで）、ハルシネーション（誤情報）の可能性

Claudeは、Anthropicが開発したチャット型のLLMです。

開発会社：Anthropic

• 2021年に設立されたAI安全性研究企業
• OpenAIの元メンバーが設立
• 安全性と有用性を重視したAI開発を目指している

主な特徴：

1. 表現力が高い

   • 自然で読みやすい文章生成
   • クリエイティブな文章作成に強い

2. 安全性を重視

   • Constitutional AIという手法で安全性を高めている
   • 有害なコンテンツの生成を抑制

3. 長文処理に強い

   • 大きなコンテキストウィンドウ（最大200Kトークン）
   • 長い文書の要約や分析が得意

4. 誠実な応答

   • わからないことは「わからない」と答える
   • 推測と事実を区別して応答

バージョン：

• Claude Opus 4.5：最新フラッグシップモデル（2025年11月26日リリース）
  • ソフトウェア開発性能を強化
  • エージェント性能を向上
  • 安全性を強化
• Claude 3.5 Opus：最高性能版（2024年リリース）
• Claude 3.5 Sonnet：バランス型（2024年リリース）
• Claude 3.5 Haiku：高速・低コスト版（2024年リリース）

強み：

• 表現力が高い、安全性が高い、長文処理、誠実な応答
• ソフトウェア開発性能（Opus 4.5）、エージェント性能（Opus 4.5）

弱み：

• 最新情報が限定的（Opus 4.5でコード生成性能は向上）

Geminiは、Googleが開発したマルチモーダルLLMです。

開発会社：Google（Google DeepMind）

• GoogleとDeepMindが統合して開発
• 2023年12月に初版リリース、その後継続的にアップデート

主な特徴：

1. マルチモーダル対応

   • テキスト、画像、音声、動画を統合的に処理
   • 様々な形式の入力を理解できる

2. Googleサービスとの統合

   • Google検索、Gmail、Google Workspaceなどと統合
   • 実用的なタスクに活用しやすい

3. 複数のサイズ

   • Gemini 3：最新モデル（2025年11月27日リリース）
     • 推論・マルチモーダル性能を強化
     • コーディング性能が向上
     • 博士号レベルの推論能力
     • 科学や数学などの複雑な問題解決に対応
   • Gemini 1.5 Ultra：最高性能版（2024年リリース）
   • Gemini 1.5 Pro：バランス型（2024年リリース、長いコンテキストウィンドウ）
   • Gemini 1.5 Flash：高速・低コスト版（2024年リリース）
   • Gemini Pro：バランス型（初期版）
   • Gemini Nano：モバイル端末向け

4. 検索機能との連携

   • Google検索と連携して最新情報を取得
   • リアルタイムの情報に対応

5. 長いコンテキストウィンドウ

   • Gemini 1.5 Proは最大200万トークンのコンテキストウィンドウをサポート
   • 非常に長い文書の処理が可能

6. Gemini 3の特徴

   • マルチモーダル処理の強化（テキスト、画像、音声、動画、コード）
   • 高速な処理速度
   • 専門的なタスクに優れている

強み：

• マルチモーダル対応、Googleサービスとの統合、検索連携

弱み：

• リリースが比較的新しく、実績が少ない、一部機能が制限されている

CodexとGitHub Copilotは、コード生成に特化したLLMです。

開発会社：OpenAI（Codex）、GitHub（Copilot）

• Codex：OpenAIが開発
• GitHub Copilot：GitHub（Microsoft）がCodexをベースに開発

Codex：

• GPT-3をベースにコード生成に特化
• 2021年にリリース、2023年に非推奨（GPT-4、GPT-4 Turboに置き換え）

GitHub Copilot：

• Codexをベースにしたコード補完ツール（現在はGPT-4ベースに更新）
• IDE（Visual Studio Code、JetBrains、Neovimなど）に統合
• コードを書いている最中に自動補完を提案
• 最新機能（2024-2025年）：
  • チャット機能の強化
  • コード生成の精度向上
  • 複数のプログラミング言語への対応拡大
  • セキュリティ機能の強化

主な特徴：

1. コード生成に特化

   • 自然言語の説明からコードを生成
   • 複数のプログラミング言語に対応

2. コンテキストを理解

   • 既存のコードを理解して、適切なコードを生成
   • 関数名、変数名、コメントから意図を推測

3. 実用的な機能

   • コード補完、関数生成、テストコード生成、リファクタリング提案

強み：

• コード生成が得意、開発効率の向上、複数言語対応

弱み：

• 生成されたコードにバグがある可能性、セキュリティリスク

類似サービス：

• Amazon CodeWhisperer（AWS）
• Tabnine（Tabnine社）

主要なLLMの開発会社と特徴をまとめます。

開発会社の特徴：

• OpenAI：汎用性の高いLLM開発のパイオニア、ChatGPTで広く認知
• Anthropic：安全性を重視、Constitutional AIという手法を開発
• Google：検索エンジンとの統合、マルチモーダル対応
• Meta：オープンソースのLLM（LLaMA）を提供
• Microsoft：OpenAIと提携、GitHub Copilotを開発

選択のポイント：

• 汎用性重視：ChatGPT
• 文章生成重視：Claude
• コード生成重視：GitHub Copilot
• マルチモーダル：Gemini
• カスタマイズ：LLaMA（オープンソース）

LLMは様々な用途で活用されています。

主な用途：

1. チャットボット・対話システム

   • カスタマーサポート、FAQ、雑談
   • 適したLLM：ChatGPT、Claude（自然な対話）

2. 文章生成

   • ブログ記事、レポート、小説、メール作成
   • 適したLLM：Claude（表現力が高い）、ChatGPT

3. コード生成・補完

   • プログラミング支援、コードレビュー、リファクタリング
   • 適したLLM：GitHub Copilot、ChatGPT（GPT-4）

4. 要約・分析

   • 長文の要約、文書分析、データ分析
   • 適したLLM：Claude（長文処理）、ChatGPT

5. 翻訳

   • 多言語翻訳、専門用語の翻訳
   • 適したLLM：ChatGPT、Gemini

6. 質問応答

   • 知識ベース検索、学習支援、情報検索
   • 適したLLM：Gemini（検索連携）、ChatGPT

7. 画像・動画理解

   • 画像の説明、動画の要約、視覚的な質問応答
   • 適したLLM：Gemini（マルチモーダル）、GPT-4（画像対応）

8. クリエイティブタスク

   • アイデア出し、ストーリー作成、詩の作成
   • 適したLLM：Claude（表現力）、ChatGPT

用途別の選択指針：

• 汎用的な用途：ChatGPT
• 文章生成・表現力重視：Claude
• コード生成：GitHub Copilot、ChatGPT
• マルチモーダル：Gemini、GPT-4
• 長文処理：Claude

トークン制限は、LLMが一度に処理できるテキストの量の上限です。

トークンとは：

• テキストを分割した単位（単語や文字の組み合わせ）
• 日本語：1文字〜数文字が1トークン
• 英語：1単語が1〜数トークン

トークン制限の種類：

1. 入力トークン制限

   • プロンプト（質問や指示）の長さの上限
   • 長い文書を入力できない場合がある

2. 出力トークン制限

   • 生成されるテキストの長さの上限
   • 長い文章を生成できない場合がある

3. コンテキストウィンドウ

   • 入力と出力を合わせた全体のトークン数
   • 会話の履歴も含む

各LLMのトークン制限（2024-2025年時点）：

トークン制限の影響：

• 長い文書の処理：制限を超えるとエラーになる
• 会話の履歴：長い会話では古い内容が失われる
• コスト：トークン数に応じて課金される場合がある

対策：

• 文書を分割して処理
• 重要な部分のみを抽出
• 要約してから処理

プロンプトエンジニアリングは、LLMに適切な指示（プロンプト）を与える技術です。

プロンプトとは：

• LLMに入力する質問や指示
• プロンプトの書き方で出力の質が大きく変わる

効果的なプロンプトの書き方：

1. 具体的に指示する

   • ❌ 悪い例：「文章を書いて」
   • ✅ 良い例：「500文字程度で、自然言語処理について初心者向けに説明するブログ記事を書いてください」

2. 役割を指定する

   • 「あなたは経験豊富なプログラマーです。Pythonで...」
   • 「あなたは日本語の教師です。...」

3. 出力形式を指定する

   • 「箇条書きで3つのポイントを挙げてください」
   • 「JSON形式で出力してください」

4. 例を示す（Few-shot Learning）

   • 期待する出力の例を提示
   • 「以下の例のように出力してください：...」

5. 制約条件を明記する

   • 「200文字以内で」「専門用語を使わずに」

6. 段階的に指示する

   • 複雑なタスクは段階に分ける
   • 「まず...次に...最後に...」

プロンプトのテンプレート：

役割：あなたは[役割]です。
タスク：[具体的なタスク]
制約：[制約条件]
出力形式：[形式]
例：[例]

プロンプトエンジニアリングの重要性：

• 同じLLMでも、プロンプト次第で出力の質が大きく変わる
• 適切なプロンプトで、より正確で有用な結果を得られる
• プロンプトの改善は、モデルの変更よりも簡単で効果的

ハルシネーション（幻覚）は、LLMが事実に基づかない情報を生成する現象です。

ハルシネーションの例：

• 存在しない人物や出来事を生成
• 間違った日付や数値を生成
• 根拠のない情報を確信を持って述べる
• 引用元が存在しない情報を生成

なぜ発生するのか：

1. 学習データの制限

   • 学習データに含まれていない情報
   • 学習データの時点以降の情報

2. 統計的な予測

   • LLMは統計的なパターンから次単語を予測
   • 事実かどうかではなく、文脈的に自然な単語を選ぶ

3. 文脈の誤解

   • 文脈を誤って解釈し、不適切な情報を生成

4. 過学習

   • 学習データの偏りが反映される

対策：

1. 情報源の確認

   • LLMの出力をそのまま信じず、情報源を確認
   • 重要な情報は複数のソースで確認

2. プロンプトの改善

   • 「わからない場合は『わかりません』と答えてください」
   • 「情報源を明記してください」

3. 検索機能の活用

   • Geminiのように検索機能と連携
   • 最新情報を取得してから回答

4. ファクトチェック

   • 生成された情報を検証
   • 専門家に確認

5. 適切なLLMの選択

   • タスクに応じて適切なLLMを選択
   • 最新情報が必要な場合は検索機能付きのLLM

ハルシネーションのリスク：

• 医療、法律、金融など、正確性が重要な分野では特に注意が必要
• 重要な判断は人間が最終確認を行うべき

コンテキストウィンドウは、LLMが一度に処理できるテキストの範囲（入力と出力を合わせた全体）です。

コンテキストウィンドウの内容：

• 入力プロンプト：ユーザーが入力した質問や指示
• 会話履歴：これまでの会話の内容
• 生成されたテキスト：LLMが生成した応答

なぜ重要か：

1. 会話の継続性

   • 前の会話を覚えていることで、自然な対話が可能
   • コンテキストウィンドウが小さいと、古い会話が失われる

2. 長文の処理

   • 長い文書を一度に処理できる
   • 文書全体の文脈を理解して応答

3. 複数の情報源の統合

   • 複数の文書や情報を同時に参照
   • 統合的な分析が可能

コンテキストウィンドウの制限：

• トークン数で制限：各LLMで上限が決まっている
• 制限を超えると：古い情報が失われる、エラーになる

各LLMのコンテキストウィンドウ（参考）：

• Claude 3：最大200Kトークン（非常に大きい）
• GPT-4（拡張版）：約128Kトークン（大きい）
• GPT-4（標準版）：約8Kトークン（中程度）
• Gemini Pro：約32Kトークン（中程度）

コンテキストウィンドウの活用：

• 長文の要約：長い文書を一度に処理
• 複数文書の比較：複数の文書を同時に参照
• 継続的な対話：長い会話の文脈を保持
• コード生成：大きなコードベースを理解

制限への対処：

• 重要な情報を要約して保持
• 文書を分割して処理
• 必要な部分のみを抽出

主要なLLMの強み・弱みを比較します。

ChatGPT（GPT-5.1、GPT-4）

適した用途：

• 汎用的なチャット、コード生成、多様なタスク、カスタマイズされた応答が必要な用途

Claude Opus 4.5、Claude 3.5、Claude 3

適した用途：

• 文章生成、長文の要約・分析、安全性が重要な用途、クリエイティブライティング、ソフトウェア開発（Opus 4.5）、AIエージェント（Opus 4.5）

Gemini 3、Gemini 1.5、Gemini

適した用途：

• 画像・動画の理解、Googleサービスとの統合、最新情報の取得、超長文の処理・分析、科学・数学の問題解決（Gemini 3）、コーディング（Gemini 3）、複雑な推論タスク（Gemini 3）

GitHub Copilot

適した用途：

• プログラミング支援、コード補完、開発効率向上

選択の指針：

1. 汎用的な用途：ChatGPT
2. 文章生成・表現力重視：Claude
3. コード生成：GitHub Copilot、ChatGPT
4. マルチモーダル：Gemini、GPT-4
5. 長文処理：Claude
6. 最新情報：Gemini（検索連携）
7. 安全性重視：Claude

複数のLLMを併用：

• 用途に応じて最適なLLMを選択
• 複数のLLMの結果を比較検証

LLMは大量のテキストデータを学習して、言語のパターンを理解します。

学習データの種類：

1. インターネット上のテキスト

   • ウェブページ、ブログ、フォーラム、SNS
   • 多様な情報源から学習

2. 書籍・論文

   • 書籍のテキスト、学術論文
   • 高品質な情報源

3. コード

   • GitHubなどのコードリポジトリ
   • コード生成能力の向上

4. 対話データ

   • チャットログ、対話データ
   • 対話能力の向上

学習データの規模：

• GPT-3：約570GBのテキストデータ
• GPT-4：詳細は非公開だが、より大規模と推測
• Claude：詳細は非公開

学習データの課題：

1. データの品質

   • 正確な情報と不正確な情報が混在
   • 偏見や差別的な内容が含まれる可能性

2. 著作権の問題

   • 学習データに著作権保護されたコンテンツが含まれる
   • 法的な問題が発生する可能性

3. データの時点

   • 学習データの時点以降の情報は含まれない
   • 最新情報に対応できない

4. プライバシー

   • 個人情報が含まれる可能性
   • プライバシー保護の課題

学習プロセス：

1. データ収集：様々なソースからテキストを収集
2. 前処理：クリーニング、フィルタリング
3. 学習：ニューラルネットワークで学習
4. ファインチューニング：特定のタスクに最適化

データのフィルタリング：

• 有害なコンテンツの除去
• 重複データの除去
• 品質の低いデータの除去

今後の課題：

• データの透明性（どのデータが使われたか）
• 著作権との関係
• プライバシー保護
• データの品質向上

LLMは様々な方法で利用できます。

主な利用方法：

1. Webアプリケーション

   • ChatGPT：chat.openai.com
   • Claude：claude.ai
   • Gemini：gemini.google.com
   • ブラウザから直接利用、アカウント登録が必要

2. API（Application Programming Interface）

   • プログラムからLLMを呼び出し
   • 自社サービスに統合
   • 例：
     • OpenAI API（ChatGPT）
     • Anthropic API（Claude）
     • Google AI API（Gemini）

3. プラグイン・拡張機能

   • ChatGPT Plugins：ChatGPTに機能を追加
   • Browser Extensions：ブラウザ拡張機能
   • IDE統合：GitHub Copilot（Visual Studio Codeなど）

4. モバイルアプリ

   • ChatGPT App：iOS、Androidアプリ
   • Claude App：モバイルアプリ
   • スマートフォンから利用

5. オープンソースモデル

   • LLaMA：Metaが開発、オープンソース
   • 自社サーバーで実行可能
   • カスタマイズ可能

API利用のメリット・デメリット：

メリット：

• 自社サービスに統合可能
• 自動化が可能
• カスタマイズが可能

デメリット：

• コストがかかる（トークン数に応じて課金）
• 技術が必要
• レート制限がある場合がある

利用形態の選択：

• 個人利用・試用：Webアプリケーション
• 業務利用・統合：API
• 開発支援：IDE統合（GitHub Copilot）
• カスタマイズ：オープンソースモデル

コスト：

• 無料版：ChatGPT（GPT-3.5）、一部機能制限
• 有料版：ChatGPT Plus、Claude Pro、API利用
• API：トークン数に応じて課金

LLMは急速に発展しており、今後も様々な進化が期待されます。

技術的な発展：

1. 性能の向上

   • より正確で有用な応答
   • ハルシネーションの減少
   • より長いコンテキストの処理

2. マルチモーダルの拡張

   • テキスト、画像、音声、動画の統合処理
   • より自然なマルチモーダル対話

3. 効率化

   • より小さなモデルで高い性能
   • 計算コストの削減
   • モバイル端末での実行

4. リアルタイム情報の統合

   • 検索機能との統合
   • 最新情報への対応
   • データベースとの連携

応用分野の拡大：

1. 業務への統合

   • 企業の業務システムへの統合
   • カスタマーサポートの自動化
   • 文書作成・分析の支援

2. 教育・学習支援

   • パーソナライズされた学習
   • 質問応答システム
   • 学習コンテンツの生成

3. クリエイティブ分野

   • 小説、脚本、音楽の生成
   • ゲーム開発の支援
   • デザインの支援

4. 研究・開発

   • 科学論文の分析
   • コード生成・レビュー
   • 実験計画の支援

課題と対策：

1. 安全性・倫理

   • 有害なコンテンツの生成を抑制
   • 偏見や差別の除去
   • プライバシー保護

2. 正確性

   • ハルシネーションの減少
   • 事実確認機能の強化
   • 情報源の明示

3. コスト

   • 利用コストの削減
   • オープンソースモデルの発展
   • 効率的な学習手法

4. 規制・法律

   • 著作権との関係
   • 個人情報保護
   • AI規制への対応

期待される変化：

• より身近な存在：日常生活に自然に統合
• 専門性の向上：専門分野に特化したモデル
• カスタマイズ：個人や企業に合わせたカスタマイズ
• オープン化：オープンソースモデルの発展

今後の展望：

LLMは、単なるチャットボットから、様々なタスクを支援する汎用的なAIアシスタントへと進化していくでしょう。技術の進歩とともに、より安全で、正確で、有用なツールになると期待されます。