ビジネス・社会解説

社内AIのPrompt Injection対策は何をする?modelへの指示だけでなくツール権限を絞る

社内AIのPrompt Injection対策は何をする? — modelへの指示だけでなくツール権限を絞る
目次

結論

Prompt Injectionは強いsystem promptだけでは防げません。外部文書やWebを読むAIではuntrusted contentを命令として扱う可能性を前提に、ツール権限・data access・human approval・output validationまで分離します。

まずこの表で判断する

入力源 AIが読める AIが実行できる 承認
承認社内文書 必要範囲 read中心 低riskのみ自動
Web/メール quarantine 原則なし write前必須
user prompt policy内 scoped ツール 金銭/外部送信必須
ツール output 必要field 無条件連鎖しない risk分岐

この判断表は、未測定の数字をそれらしく埋めるための表ではありません。価格・性能・品質など実測が必要なセルは、公式一次情報または自分の観測値だけで更新してください。

選び方・進め方

1. 判断ポイント

OWASPはremote/indirect injection、RAG poisoning、agent-specific attackを区別します。攻撃文がuser promptにないケースも設計対象です。

2. 判断ポイント

最も効く被害制限はleast privilegeです。検索AIにメール送信権限は不要で、下書きagentに支払実行権限は不要です。

3. 判断ポイント

人間承認では宛先、差分、金額、外部送信data、取消可否を表示し、何を承認するか判断できるUIにします。

実行前チェック

  • untrusted input識別
  • READ/DRAFT/WRITE分離
  • secret直書き禁止
  • high-risk承認
  • ツール call log/alert

迷ったときの優先順位

最初に不可逆な条件を確認します。契約・権限・必要メモリ・物理互換・商用権利など、後から簡単に直せない条件を先に落とし、その後に価格や操作感を比較します。逆に、価格や画面の好みから選び始めると、導入後に「そもそも要件を満たせない」状態になりやすくなります。

まとめ

  • Prompt Injectionは強いsystem promptだけでは防げません。外部文書やWebを読むAIではuntrusted contentを命令として扱う可能性を前提に、ツール権限・data access・human approval・output validationまで分離します。
同じテーマから

サイト内検索