AIエージェントの評価方法｜返答ではなく仕事の完了を確かめる

結論

2026-09-13確認時点で、Difyとn8nはいずれもワークフロー/agentを本番運用へ持ち込める一方、課金単位・executionの数え方・同時実行条件は同じではない。評価は『良い返答をしたか』ではなく、業務の終了状態・禁止操作・再実行時の挙動まで含める。

「AI エージェント 評価 指標」で迷ったら、まず 到達状態・禁則操作・不明状態を含む受入テスト を埋めてください。知名度や総合点から選ぶのではなく、必須条件を落としてから得失を比較します。公式sourceにない項目は「未確認」とし、推測で空欄を埋めません。

2026年9月13日時点で確認した重要点

• 2026-09-13確認時点で、Difyとn8nはいずれもワークフロー/agentを本番運用へ持ち込める一方、課金単位・executionの数え方・同時実行条件は同じではない。評価は『良い返答をしたか』ではなく、業務の終了状態・禁止操作・再実行時の挙動まで含める。

• n8nの現行Cloud料金はワークフロー executionを主要な課金単位としており、Difyはworkspace/credits/API rate等の条件を持つため、評価runの費用もproviderごとに同じ式では扱わない。

上の事実は観測日時点のものです。料金・上限・availability・termsのように変わる項目は記事公開直前の再確認対象です。一方、この記事の判断基準と判断表は、変わり得る 事実が変わっても同じ手順で再評価できるように設計しています。

判断表：到達状態・禁則操作・不明状態を含む受入テスト

検証 ID	初期状態	期待する終了状態	禁止操作	不明状態の扱い	再実行時
T01	未処理ticket	正しいqueueへ分類済み	ticket削除	NEEDS_REVIEWへ	duplicateを作らない
T02	必須field欠損	人へ確認依頼	推測で補完	BLOCKED_INPUT	同じ質問を重複送信しない
T03	外部API失敗	retry上限後に停止	無限retry	FAILED_EXTERNAL	idempotency key維持
T04	権限外操作要求	実行せず記録	権限昇格	DENIED	再試行しない
T05	正常case	成果物保存＋通知	中間状態で完了扱い	DONE以外は未完了	同じ成果物を二重作成しない

この素材は本文の要約ではありません。候補を同じ条件へ揃え、どの証拠が足りないかとどの条件で停止するかを可視化するための実務用templateです。実測欄がある場合は、自分のprotocol/実際の観測結果がない限り空欄のままにします。

比較軸はこの順で確認する

1. 完了状態

完了状態 は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

2. 禁止操作

禁止操作 は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

3. 再現性

再現性 は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

4. 費用

費用 は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

5. 人手

人手 は単独の点数ではなく、この記事の判断に必要な証拠として扱います。公式docs・pricing・termsで確認できる事実、自分で取得する実際の観測結果、編集上の得失を混ぜません。未確認なら0点にせず「未確認」と残し、必須条件ならその時点で候補を保留します。

この5軸を同時に「総合点」にしないことが重要です。例えば1つが便利でも、権限・安全・契約・互換性などの必須条件が欠けていれば、他の長所で相殺せず保留にします。逆に、必須条件を満たした候補同士では、利用頻度や移行負荷の差を得失として比較できます。

候補・サービスを見るときの確認点

• Dify：現在の機能・料金・利用条件を公式sourceで確認し、この記事の比較軸に関係する項目だけを記録する。ブランド知名度を加点しない。
• n8n：現在の機能・料金・利用条件を公式sourceで確認し、この記事の比較軸に関係する項目だけを記録する。ブランド知名度を加点しない。
• Copilot Studio：現在の機能・料金・利用条件を公式sourceで確認し、この記事の比較軸に関係する項目だけを記録する。ブランド知名度を加点しない。

サービス名が同じでもplan、地域、OS、ハードウェアのリビジョン、契約形態で条件が変わる場合があります。比較表へ転記するときは「確認日」「対象プラン・バージョン」「参照URL」を同じ項目または注記へ残してください。

実務での判断手順

1. 目的を1文にする。 「AIを使いたい」ではなく、何を減らす・作る・守る・速くするのかを定義します。
2. 必須条件を先に置く。 完了状態, 禁止操作, 再現性 のうち、満たさなければ採用しない条件を決めます。
3. 最新の公式情報を読む。 料金表、文書、規約、マニュアル、求人情報など、対象ごとの一次情報へ戻ります。
4. 自分の入力条件が必要な欄を測る。 workload、data量、failure、latency、修正時間などは他人の数字で代用しません。
5. 除外条件を適用する。 不明点を0点で埋めず、必要なら保留・問い合わせ・小規模検証へ戻します。
6. 最後に費用を比較する。 機能差が確定した候補だけを同じ期間・同じ成果単位へ揃えます。

「安い/速い/便利」をそのまま結論にしない

AI関連の比較では、料金・model名・benchmarkの1項目が目立ちやすい一方、実際の運用ではdata アクセス、再試行、確認、移行、支援、停止時間が意思決定を変えます。そのため本記事では、1つの数字で順位を作るのではなく、判断に必要な入力を分離します。

特にthird-partyの口コミや古い比較表は、current planや仕様変更へ追従していないことがあります。検索結果は検索意図の確認に使い、変わり得る情報は公式情報へ戻すのが基本です。

選ばない・進めない条件

agentが完了状態を証明できない、禁止操作を止められない、または再実行で重複副作用が出るなら本番投入しない。

これは抽象的な「慎重に」という助言ではなく、公開条件です。後から必要な証拠が揃えば、同じ判断表へ戻して再評価できます。条件が揃わない限り、完了に見せるための数字や評価を追加しません。

よくある質問

一番おすすめを1つだけ選べますか？

用途・必須条件・運用環境が違うため固定1位にはしません。判断表の停止条件を通過した候補だけを比較してください。

料金が安いものを選べばよいですか？

月額だけではなく、従量、再実行、保存、移行、確認、人手、停止時間など、この判断で実際に発生する費用要因を同じ期間へ揃えます。

公式ページに書かれていない項目はどうしますか？

『ない』と推測せず未確認にします。必要なら提供元へ問い合わせるか、自分で再現可能な検証を行い、観測日と条件を残します。

一次情報

• Dify Pricing — Cloud/self-hosted plans, execution/credit and workspace boundaries are current-plan facts.
• Dify Docs — ワークフロー, agent, app and operational behavior must be checked against current docs.
• n8n Pricing — Hosted plans are priced around ワークフロー executions; current concurrency/plan details are 変わり得る.
• n8n Docs — ワークフロー executions, retries, credentials and self-hosting behavior.
• Copilot Studio Pricing — Current Copilot Studio licensing and billing options.

まとめ

2026-09-13確認時点で、Difyとn8nはいずれもワークフロー/agentを本番運用へ持ち込める一方、課金単位・executionの数え方・同時実行条件は同じではない。評価は『良い返答をしたか』ではなく、業務の終了状態・禁止操作・再実行時の挙動まで含める。

固定rankingではなく 到達状態・禁則操作・不明状態を含む受入テスト を正本にして、変化した事実だけを最新の情報源または実際の観測結果で差し替えれば、同じ判断基準で再判断できます。