OTHER
Promptfoo
Promptfoo
LLMプロンプト、エージェント、RAGの性能を評価・テストするオープンソースツール。GPT、Claude、Gemini、Llamaなど複数プロバイダを比較でき、レッドチーミングや脆弱性スキャンでセキュリティ検証も可能。CI/CD統合で安全なAIアプリ開発を実現します。
#評価フレームワーク#セキュリティテスト#マルチプロバイダ
編集部メモ
プロンプトと API の品質テストを統一化する
Promptfoo は LLM アプリケーションの評価とセキュリティ検証を統一フレームワークで実現するツールです。複数の LLM プロバイダ（OpenAI、Anthropic、Google など）の出力を同一条件下で比較でき、プロンプト最適化の過程を数値化できます。特に注目は赤チーム（レッドチーミング）機能で、LLM アプリケーションの脆弱性や有害な出力パターンを意図的に洗い出す機能が組み込まれている点です。CI/CD パイプラインとの統合により、プロンプト変更時やモデルアップグレード時の影響を自動検証できます。OpenAI や Anthropic が採用している実績も信頼性の指標となります。一方、API キーの管理が必須で、大規模な評価セットでは API 費用が増加する点、および Node.js 環境が必須である点は導入時の検討項目です。
USE CASES
こんな場面で使う
- 複数の LLM プロバイダやプロンプト候補を一括比較して、最も精度が高い組み合わせを自動選定する
- LLM アプリケーションのセキュリティ脆弱性を継続的にスキャンし、プロンプトインジェクションや有害な出力パターンを検出する
- モデルアップグレードやプロンプト変更前に自動テストを実行して、既存機能への影響を検証する
DIFFERENTIATOR
類似ツールとの違い
Promptfoo の差別化点は「セキュリティテスト（レッドチーミング）」と「マルチプロバイダ比較」を同時実装している点です。LangChain や LlamaIndex はプロンプト実行・チェーン管理に主眼を置きますが、Promptfoo は評価と検証に特化しており、CI/CD 統合も想定した設計になっています。
CAVEAT
注意点・向かない用途
⚠️ Node.js 環境が必須で、Python シングルユーザー向けの簡易導入は困難です。また大規模な評価セットでは複数プロバイダへのスループット呼び出しによる API 費用が増加します。
BEST FOR
向いている読者
LLM エンジニア・プロダクト開発者DevOps/MLOps エンジニアAI セキュリティテスター
— OSS Agents JP 編集部による独自評価（Promptfoo に関する観察）
リポジトリ統計
⭐ Stars
-
🍴 Forks
-
⚠️ Open Issues
-
🌿 Language
-
📄 License
-
🕒 最終更新
-
📅 公開日
-
🌿 Branch
-
公式ドキュメント（README）
本ハブの独自評価は上記「編集部メモ」が一次情報です。以下は GitHub README の参考転載（折りたたみ）。
📖 GitHub README の日本語訳を読む（AI 自動翻訳 / 参考情報）
— AI による自動翻訳 (2026.07.01 更新)。正確な情報は GitHub の原文 をご確認ください。