Promptfoo

よくある質問

Promptfoo とは？

Promptfooは、LLMアプリケーションの評価とレッドチーミングのために設計された包括的なCLIおよびライブラリです。AIシステムの体系的なテストとセキュリティ評価という重要なニーズに対応し、チームが試行錯誤に頼るアプローチから、信頼性と安全性を備えたAI開発へ移行するのを支援します。OpenAI、Anthropic、Azure、Bedrock、Ollamaを含む複数のLLMプロバイダーにわたり、プロンプト、Agent、RAGシステムの自動評価をサポートします。基本的なテストに加え、promptfooはLLMアプリケーションの脆弱性スキャンとセキュリティ評価のための高度なレッドチーミング機能を提供します。モデルを並べて比較する機能を備え、チームがモデル選定と性能最適化について情報に基づいた判断を行うのを支援します。CI/CDパイプラインにシームレスに統合され、LLM関連のセキュリティおよびコンプライアンスの問題に対する自動チェックとプルリクエストレビューを可能にします。宣言的な設定方式とWebベースの結果ビューアーにより、promptfooではチーム間での検出結果の共有と、継続的な改善の追跡が容易になります。最近OpenAIに買収され、オープンソースのMITライセンスを維持しているこのツールは、18,000を超えるGitHubスターと活発なコミュニティの支援によって、その価値を実証しています。

Promptfoo は現在もメンテナンスされていますか？

現在も活発に開発中：直近 90 日間のコミットは 920 件、最新コミットは 2026-10-02。

Promptfoo の代替ツールは？

Promptfoo に近いオープンソースの代替ツール：ChainForge、Langfuse、phoenix、Agenta、DeepEval、UpTrain。

Promptfoo はオープンソースですか？

はい。Promptfoo はオープンソースで、コードは GitHub で公開されています。