はじめに#

『生成AIアプリケーション評価入門』（松木晋祐、技術評論社）を読んだ。混同行列や BLEU / ROUGE といった従来の評価指標から入って、ISO/IEC 25059 の品質モデル、OWASP LLM Top 10、そして実践編として DeepEval と DeepTeam を使った評価とレッドチーミングまでを扱う本だった。体系的な入門書として読みやすく、分厚くもないので、評価の全体像をつかむにはちょうどよかった。

松木晋祐／技術評論社

生成AIアプリケーション評価入門

評価指標の基礎から品質モデル、OWASP LLM Top 10、DeepEval / DeepTeam の実践までを1冊で通せる。読みやすく、分厚くもないので、体系的な入門にちょうどいい。ツールは動きが速いので、本で考え方を押さえてから公式ドキュメントで今のバージョンを確かめる読み方がおすすめ。

Amazon で見る →

※Amazon アソシエイトのリンクを含みます

本を読み終えて、2つ気になった。1つは、DeepEval と DeepTeam が実際にどこまでできて、どこに弱点があるのか。もう1つは、他に選択肢はないのか。評価ツールが DeepEval だけということはないはずで、比べてみないと DeepEval の立ち位置もわからない。

そこで、DeepEval と DeepTeam を公式ドキュメントと配布パッケージのソースコードで深掘りし、そのうえで代替ツールを探索した。探していくと、ツールの機能差よりも先に、この業界が2026年にものすごい勢いで再編されていることが目に入ってきた。主要ツールの半分くらいが、この1年で買収されたか、サービスを畳んだか、開発が止まっている。

なお、DeepEval / DeepTeam は手元で動かしていない。本と、公式ドキュメント・PyPI・GitHub・ソースコードから調べた段階のまとめである。バージョン・Star 数・価格はすべて 2026-10-05 時点の値。

評価は2系統に分かれる#

最初に整理しておくと、生成AIアプリの「評価」は大きく2つに分かれる。本でも DeepEval と DeepTeam を別の章で扱っていた。

どちらも Confident AI という同じ会社の OSS で、DeepTeam は実行時に DeepEval に依存している。以下、まず2つを深掘りしてから、それぞれの代替を見ていく。

DeepEval を深掘りする#

1
# test_app.py → `deepeval test run test_app.py`
2
from deepeval import assert_test
3
from deepeval.metrics import GEval, AnswerRelevancyMetric, FaithfulnessMetric
4
from deepeval.test_case import LLMTestCase, SingleTurnParams
5

6
correctness = GEval(
7
    name="Correctness",
8
    criteria="Determine if the 'actual output' is correct based on the 'expected output'.",
9
    evaluation_params=[SingleTurnParams.ACTUAL_OUTPUT, SingleTurnParams.EXPECTED_OUTPUT],
10
    threshold=0.5,
11
)
12

13
def test_refund():
14
    tc = LLMTestCase(
15
        input="What if these shoes don't fit?",
16
        actual_output="You have 30 days to get a full refund at no extra cost.",
17
        expected_output="We offer a 30-day full refund at no extra costs.",
18
        retrieval_context=["All customers are eligible for a 30 day full refund at no extra costs."],
19
    )
20
    assert_test(tc, [correctness, AnswerRelevancyMetric(threshold=0.7), FaithfulnessMetric()])

1
from deepeval.tracing import observe
2
from deepeval.dataset import EvaluationDataset, Golden
3
from deepeval.metrics import TaskCompletionMetric
4

5
@observe()
6
def agent(q): ...
7

8
ds = EvaluationDataset(goldens=[Golden(input="Plan a two-day trip to Paris")])
9
for g in ds.evals_iterator(metrics=[TaskCompletionMetric()]):
10
    agent(g.input)

DeepTeam を深掘りする#

1
from deepteam import red_team
2
from deepteam.vulnerabilities import Bias, PIILeakage
3
from deepteam.attacks.single_turn import PromptInjection, ROT13
4
from deepteam.attacks.multi_turn import LinearJailbreaking
5
from deepteam.test_case import RTTurn
6

7
async def model_callback(input: str, turns: list[RTTurn] | None = None):
8
    reply = await my_app.generate(input)            # 評価対象のアプリ
9
    return RTTurn(role="assistant", content=reply)  # str を返すだけでもよい
10

11
ra = red_team(
12
    model_callback=model_callback,
13
    vulnerabilities=[Bias(types=["race", "gender"]), PIILeakage(types=["direct_disclosure"])],
14
    attacks=[PromptInjection(weight=2), ROT13(), LinearJailbreaking(num_turns=3)],
15
    simulator_model="gpt-4o-mini", evaluation_model="gpt-4o",
16
    attacks_per_vulnerability_type=2,
17
    target_purpose="Retail bank support bot",
18
)
19
print(ra.overview.to_df())
20
ra.save(to="./results/")
21

22
# 規格プリセットで回す場合（vulnerabilities とは併用不可）
23
# from deepteam.frameworks import OWASPTop10
24
# red_team(model_callback=model_callback, framework=OWASPTop10(categories=["LLM_01"]))

他に何がある？ 品質評価の代替#

ここから探索編。まず DeepEval の代替になる品質評価ツールを並べる。

3大クラウドにもマネージドの評価サービスがある（AWS Bedrock / AgentCore Evaluations、Azure Foundry Evaluation、Google Gen AI Evaluation）³⁷³⁸³⁹。OpenAI Evals は API が 2026-11-30 に停止するので表から外した⁴⁰。

主要なものを、DeepEval との関係で見ていく。

• Ragas：RAG メトリクスの共通語彙になったライブラリで、Langfuse・MLflow・Braintrust などが Ragas のメトリクスを取り込んでいる。ただ 2026-01 以降リリースがなく、リポジトリも移転した²⁶。単独で依存するのはリスクがある
• promptfoo：YAML で「プロンプト × モデル × テストケース」を回す設定駆動のツール。評価とレッドチームを1つでこなせるので、DeepEval + DeepTeam に最も近い競合。Node.js 前提²⁷
• Inspect AI：英国 AI Security Institute 製。サンドボックスでエージェントを走らせ、200以上のベンチマークが揃う²⁸⁴¹。モデルやエージェントの能力・安全性を再現性高く測るのに向き、アプリの RAG 品質評価には向かない
• Langfuse：最大の OSS コミュニティを持つ可観測性プラットフォーム。2025-06 以降、LLM-as-judge・アノテーションキュー・実験を含む全機能が MIT になり、2026-04 に東京リージョンを開始した³⁰⁴²。セルフホストには ClickHouse・Postgres・Redis・S3 の運用が要る
• MLflow GenAI：mlflow.genai.evaluate() の中で DeepEval・Ragas・Phoenix・TruLens のスコアラーをまとめて実行できるハブ的な存在⁴³
• Opik：Apache-2.0 で機能が最も揃った OSS プラットフォーム。Cloud の有料プランも $19/月からと安い³⁴⁴⁴
• Braintrust：実験比較の UI と、PR にスコアをコメントしてマージをゲートする CI 連携の完成度が高い SaaS⁴⁵

並べてみると、DeepEval は「開発時のユニットテスト」に強く、Langfuse・Opik・LangSmith・Braintrust は「本番のトレースと監視」に強い、という棲み分けが見えてくる。DeepEval の OSS 版には本番監視がないので、DeepEval と Langfuse / Opik は競合というより組み合わせる相手になる。

他に何がある？ レッドチーミングの代替#

次に DeepTeam の代替。

DeepTeam との違いを一言ずつ。

• promptfoo：カバー範囲（プラグイン157種）、規格対応、CI・Web UI の成熟度はいずれも promptfoo が上⁴⁶。ただし高度な攻撃生成は既定で promptfoo（現 OpenAI）のリモート推論を使い、無料版は月1万プローブの上限がある⁵¹。データを外に出したくない、Python で完結させたい、特定ベンダーに寄せたくない場合は DeepTeam が候補になる
• PyRIT：専門家が手で攻撃キャンペーンを組むためのツールキット。マルチモーダルや高度なマルチターン攻撃に強いが、規格プリセットはなく、書く量が多い⁴⁷。DeepTeam は「すぐ回せる」のが強み
• garak：「LLM 版の Nmap」で、静的なプローブを大量に持ち、モデル単体の監査に強い⁴⁸。RAG の文脈やツール呼び出しを含むアプリ単位の評価は DeepTeam のほうが向いている
• Giskard v3：品質評価とセキュリティスキャンを1つで扱い、スキャンの生成器として DeepTeam と garak を呼び出せる⁴⁹。2026-08 にエージェント向けに全面書き直しされたばかり

探していたら、業界が再編だらけだった#

代替ツールを1つずつ調べていくと、「このツールは今どこの会社のものか」が毎回変わっていることに気づいた。並べるとこうなる。

1年のあいだに、品質評価・可観測性・レッドチーム・ガードレールのどの分野でも、主要プレイヤーが買収されるか畳まれるかしている。とくに印象に残ったのは3つ。

1つ目は、OpenAI が自社の評価サービス（OpenAI Evals）を畳み、移行先として買収した promptfoo を案内していること⁴⁰⁵³。モデルを作る会社が、モデルを評価するツールを持つ形になった。promptfoo は OpenAI 以外のモデルも横並びで比べられるツールなので、その中立性がこの先どうなるかは見ておきたい。

2つ目は、可観測性の OSS がデータ基盤・監視の大手に吸収されていること。Langfuse は ClickHouse（Langfuse 自身がバックエンドに使っている DB の会社）へ、Arize は Dynatrace へ、Galileo は Cisco（Splunk）へ。LLM のトレースは、既存の監視基盤の一機能になりつつある。

3つ目は、防御側（ガードレール）の入れ替わり。レッドチームで見つけた穴を本番で塞ぐ側のツールも、こうなっている。

本で学んだツールの外側を見に行ったら、地面ごと動いていた、という感覚だった。半年後にはこの表もまた変わっているはずで、記事に書いた状況も 2026-10 時点のスナップショットとして読んでほしい。

用途別のおすすめ#

調査資料の推奨をまとめると、こうなる。

DeepEval と DeepTeam を軸に、OSS だけで組むならこういう構成になる。

1
開発時    : DeepEval（pytest で回帰テスト、PR ごとに実行）
2
リリース前: DeepTeam（OWASP LLM / Agentic プリセットで red_team、deepteam scan で差分コードを確認）
3
            ＋ garak（モデル・エンドポイント単位の静的プローブ）
4
本番      : Langfuse（トレース、オンライン評価、アノテーション）
5
            ＋ NeMo Guardrails または DeepTeam Guardrails
6
集約      : 本番トレースから Golden を作り、DeepEval のデータセットへ戻す

Confident AI に課金すれば開発・本番・レッドチームを1つの画面で見られるが、Starter でも月 $200、レッドチーミングモジュールは Enterprise++ になる¹¹。OSS で組むなら、本番側を Langfuse か Opik に任せるのが費用面で無理がない。

日本語で使うときの注意#

• ジャッジのプロンプトはほぼ英語前提。どのツールも日本語で動くが、判定の質は公式には検証されていない。Ragas は adapt() でプロンプトを対象言語に合わせられ⁶⁵、DeepEval は G-Eval の評価基準を日本語で書くか、DAG で判定手順を固定する方法がとれる。いずれにしても、日本語の人手ラベル数十〜数百件でジャッジとの一致率を確かめてから閾値を決めたい
• クラウドの安全性評価は英語向け。Azure Foundry の安全性評価器は日本リージョンで使えず、英語での利用が最適とされている⁶⁶
• データを日本で完結させたい場合の選択肢は、Langfuse Cloud Japan（東京）⁴²、AWS AgentCore Evaluations（東京）³⁸、Azure の評価（東日本・西日本、安全性評価器は除く）⁶⁶、Confident AI Enterprise¹¹。LangSmith は APAC でもシドニーで、日本リージョンはない⁶⁷
• レッドチームの攻撃文は英語中心。DeepTeam の Multilingual 攻撃は言語を変えて防御をすり抜ける手法で、日本語アプリ向けの攻撃セットではない。日本語アプリでは CustomVulnerability や独自の攻撃プロンプトを足す必要がある

ジャッジをローカルLLMにすれば、APIコストを削れるかもしれない#

ここからは調査資料の外の、自分の思いつき。

DeepEval の弱点の筆頭はジャッジのコストだった。QAG 系のメトリクスは1ケースで何度もジャッジを呼ぶので、費用は「テストケース数 × メトリクス数 × 1メトリクスあたりの呼び出し回数」で膨らむ。PR ごとに CI で回すなら、この掛け算が毎回走る。

一方で、ローカルLLMもかなり発展してきた。DeepEval はジャッジに Ollama や vLLM などのローカル OpenAI 互換サーバを使えるし、DeepTeam もモデル基盤を DeepEval から流用している。なので、DGX Spark のような機材をすでに持っている企業なら、ギリギリ動かせるレベルのオープンなフロンティアモデルをジャッジにすると、API コストを削れるかもしれない。

そう思う理由は3つある。

• 負荷の形が合っている。ジャッジの仕事は、検索コンテキストや回答を長めに読ませて、判定と短い理由を返させる形をしている。DGX Spark 2台で Qwen3.8 Flash Next を業務投入した記事で、コードレビューのように「長いプロンプトを読ませて短く返させる」仕事は、ローカルでも体感が速いと書いた。効いていたのは TTFT・プレフィル・並列時の集約スループットで、deepeval test run -n で並列に投げる評価はまさにそこを使う
• ジャッジを固定できる。API のジャッジはモデル更新でスコアがずれるのが弱点だった。ローカルの重みは自分で更新しない限り変わらないので、リリース判定の物差しとしてはむしろ安定するかもしれない
• データを外に出さずに済む。評価データには本番の入出力が混ざりがちで、外に出せないから評価自体をやれていなかった、というケースもありそう。これは業務投入記事で書いた「出せないから今までやれていなかった仕事」と同じ構図になる

ただし前提がある。DGX Spark 2台の損益を計算した記事のとおり、ハードを新しく買ってまで API 代を浮かせる話にはならない。成り立つのは、機材がすでにあって、空いている時間に評価を流せる場合だと思う。それから、ジャッジをオープンモデルに替えるなら、人手ラベルとの一致率を確かめるキャリブレーションは必須になる。もっとも、これは API のジャッジでも日本語で使うならどのみち必要な手順なので、追加の手間というより、どうせやる作業の対象が変わるだけとも言える。

導入するときのチェックリスト#

• ジャッジモデルと費用の見積もり（テストケース数 × メトリクス数 × 1メトリクスあたりの呼び出し回数）
• ジャッジのキャリブレーション（人手ラベルとの一致率）と、ジャッジモデルを固定するかどうか
• テレメトリのオプトアウト（DEEPEVAL_TELEMETRY_OPT_OUT、DEEPTEAM_TELEMETRY_OPT_OUT、RAGAS_DO_NOT_TRACK など）
• バージョンの固定。DeepEval は破壊的変更が多いので、CI では deepeval==4.2.x のように固定する
• DeepTeam は既定値をドキュメントではなくコードで確認する
• 使うツールの買収・サービス終了の状況（promptfoo、Langfuse、Phoenix、Weave、OpenAI Evals）

おわりに#

本で DeepEval と DeepTeam を知り、深掘りしてから外を探索した。

深掘りしてわかったのは、DeepEval は Python で CI に評価を組み込むなら今でも第一候補で、メトリクスの幅は OSS で一番広いこと。DeepTeam は DeepEval ユーザー向けの手軽なレッドチーミングとして妥当で、OWASP や EU AI Act のプリセットがそのまま使えること。一方で、どちらも本番監視の機能は持たないので、本番まで含めるなら Langfuse か Opik と組み合わせるのが現実的になる。

探索してわかったのは、この分野が2026年に激しく再編されていること。promptfoo は OpenAI、Langfuse は ClickHouse、Arize は Dynatrace、Galileo は Cisco へ。OpenAI Evals は来月末に止まる。評価ツールを選ぶときは、機能の比較表に加えて「今は誰の傘下か、ベンダー中立のまま続きそうか」を必ず確認したい。もう1つ、ジャッジのコストについては、DGX Spark のような機材を持っている企業ならローカルのオープンモデルに任せる手もありそうで、これは今後試してみたい。DeepEval / DeepTeam も例外ではなく、Confident AI がこの先どうなるかは誰にもわからない。

入門書で地図をもらって、外に出たら地形が毎月変わっていた。地図は捨てずに、現在地だけこまめに確かめるのがよさそうだ。

参考文献#

1. DeepEval GitHub https://github.com/confident-ai/deepeval
2. DeepEval PyPI https://pypi.org/project/deepeval/
3. DeepEval Releases https://github.com/confident-ai/deepeval/releases
4. DeepEval Test Cases https://deepeval.com/docs/evaluation-test-cases
5. DeepEval LLM Tracing https://deepeval.com/docs/evaluation-llm-tracing
6. DeepEval Unit Testing in CI/CD https://deepeval.com/docs/evaluation-unit-testing-in-ci-cd
7. DeepEval Metrics Introduction https://deepeval.com/docs/metrics-introduction
8. DeepEval Classifiers https://deepeval.com/docs/classifiers-introduction
9. DeepEval Synthetic Data Generation https://deepeval.com/docs/synthetic-data-generation-introduction
10. DeepEval Integrations https://deepeval.com/integrations
11. Confident AI Pricing https://www.confident-ai.com/pricing
12. DeepEval Data Privacy https://deepeval.com/docs/data-privacy
13. AgentCore Third-party Evaluators https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/third-party-evaluators.html
14. Rubin Lake Technology Radar: DeepEval https://www.rubinlake.com/en/technology-radar/data-platforms-and-mlops/deepeval
15. PromptLayer: DeepEval Review https://www.promptlayer.com/blog/deepeval-review-what-it-is-and-the-best-alternatives-in-2026/
16. DeepTeam GitHub https://github.com/confident-ai/deepteam
17. DeepTeam PyPI https://pypi.org/project/deepteam/
18. DeepTeam Red Teaming Introduction https://www.trydeepteam.com/docs/red-teaming-introduction
19. DeepTeam Adversarial Attacks https://www.trydeepteam.com/docs/red-teaming-adversarial-attacks
20. DeepTeam Risk Assessment https://www.trydeepteam.com/docs/red-teaming-risk-assessment
21. DeepTeam Code Scanning https://www.trydeepteam.com/docs/code-scanning-introduction
22. DeepTeam Guardrails https://www.trydeepteam.com/docs/guardrails-introduction
23. DeepTeam Vulnerabilities https://www.trydeepteam.com/docs/red-teaming-vulnerabilities
24. DeepTeam Frameworks https://www.trydeepteam.com/docs/frameworks-introduction
25. DeepTeam Data Privacy https://www.trydeepteam.com/docs/data-privacy
26. Ragas GitHub https://github.com/vibrantlabsai/ragas
27. promptfoo GitHub https://github.com/promptfoo/promptfoo
28. Inspect AI GitHub https://github.com/UKGovernmentBEIS/inspect_ai
29. LangSmith Pricing https://www.langchain.com/pricing
30. Langfuse Pricing https://langfuse.com/pricing
31. Arize Phoenix License https://arize.com/docs/phoenix/self-hosting/license
32. TruLens GitHub https://github.com/truera/trulens
33. MLflow GenAI Evaluation https://mlflow.org/docs/latest/genai/eval-monitor/
34. Opik GitHub https://github.com/comet-ml/opik
35. Braintrust Pricing https://www.braintrust.dev/pricing
36. Evidently OSS vs Cloud https://docs.evidentlyai.com/faq/oss_vs_cloud
37. Agent and model evaluations in Gemini Enterprise Agent Platform are now GA https://developers.googleblog.com/agent-and-model-evaluations-in-gemini-enterprise-agent-platform-are-now-ga/
38. AgentCore Evaluations GA https://aws.amazon.com/about-aws/whats-new/2026/03/agentcore-evaluations-generally-available
39. Microsoft Foundry Built-in Evaluators https://learn.microsoft.com/en-us/azure/foundry/concepts/built-in-evaluators
40. OpenAI API Deprecations https://developers.openai.com/api/docs/deprecations
41. inspect_evals GitHub https://github.com/UKGovernmentBEIS/inspect_evals
42. Langfuse Cloud Japan https://langfuse.com/blog/2026-04-27-langfuse-cloud-japan
43. MLflow Third-party Scorers https://mlflow.org/blog/third-party-scorers/
44. Comet Pricing https://www.comet.com/site/pricing/
45. Braintrust Run in CI https://braintrust.dev/docs/evaluate/run-in-ci
46. promptfoo Red Team Plugins https://www.promptfoo.dev/docs/red-team/plugins/
47. PyRIT GitHub https://github.com/microsoft/PyRIT
48. garak GitHub https://github.com/NVIDIA/garak
49. Giskard OSS GitHub https://github.com/Giskard-AI/giskard-oss
50. PurpleLlama GitHub https://github.com/meta-llama/PurpleLlama
51. promptfoo Pricing https://www.promptfoo.dev/pricing/
52. OpenAI to acquire Promptfoo https://openai.com/index/openai-to-acquire-promptfoo/
53. Moving from OpenAI Evals to promptfoo https://developers.openai.com/cookbook/examples/evaluation/moving-from-openai-evals-to-promptfoo
54. Langfuse joins ClickHouse https://langfuse.com/blog/announcing-acquisition
55. Dynatrace to acquire Arize https://www.dynatrace.com/news/press-release/dynatrace-to-acquire-arize/
56. Splunk / Galileo https://www.splunk.com/en_us/about-splunk/acquisitions/galileo.html
57. CoreWeave completes acquisition of Weights & Biases https://coreweave.com/blog/coreweave-completes-acquisition-of-weights-biases
58. Check Point acquires Lakera https://www.checkpoint.com/press-releases/check-point-acquires-lakera/
59. Palo Alto Networks completes acquisition of Protect AI https://www.paloaltonetworks.com/company/press/2025/palo-alto-networks-completes-acquisition-of-protect-ai
60. LLM Guard GitHub https://github.com/protectai/llm-guard
61. Guardrails AI joins Harvey https://www.harvey.ai/blog/guardrails-ai-joins-harvey
62. NeMo Guardrails GitHub https://github.com/NVIDIA-NeMo/Guardrails
63. Azure AI Red Teaming Agent https://learn.microsoft.com/azure/ai-foundry/concepts/ai-red-teaming-agent
64. Nejumi LLM Leaderboard https://nejumi.ai
65. Ragas Metrics Language Adaptation https://docs.ragas.io/en/stable/howtos/customizations/metrics/metrics_language_adaptation/
66. Microsoft Foundry Evaluation Regions and Limits https://learn.microsoft.com/en-us/azure/foundry/concepts/evaluation-regions-limits-virtual-network
67. LangSmith Regions FAQ https://docs.langchain.com/langsmith/regions-faq