AI
AIエージェント問題集
Q.
Webページなど外部から取り込んだ内容に紛れた指示に、エージェントが従ってしまう「プロンプトインジェクション」への対策として最も適切なものはどれか。
解説まとめ
正解はCです。プロンプトインジェクションは、外部から取り込んだ信頼できない入力に紛れ込んだ指示に、エージェントが従ってしまう攻撃です。対策の基本は、外部入力を「データ」として扱い命令として実行しないこと、そして重要操作には人間承認や権限制限を重ねることです。信頼境界を引く設計が要になります。
ポイント
鍵は「外部入力=信頼できないデータ」という前提です。取り込んだ内容に書かれた指示を額面通り実行しない、という線引きと、被害を限定する権限設計を組み合わせる多層防御が肝心です。
ワンポイントアドバイス
エージェントにWebやファイルの内容を読ませる設計では、「読んだ内容に書かれた指示には従わない」という方針を明示しておきましょう。あわせて、危険な操作の前に承認を挟み、権限を最小化しておくと、仮に指示が紛れ込んでも被害を抑えられます。
解説詳細
なぜCが正解か
プロンプトインジェクションへの基本対策は、外部から取り込んだ入力を「実行すべき命令」ではなく「処理対象のデータ」として扱う信頼境界の設定です。そのうえで、最小権限の原則で被害範囲を絞り、重要操作には人間承認を挟む多層防御を組みます。Cはこれらを正しく組み合わせています。
なぜ他の選択肢が誤りか
Aは外部入力を無条件に命令として実行するもので、まさにインジェクションを許す危険な姿勢です。Bの全ツールへの最大権限付与は最小権限の逆で、攻撃が成功したときの被害を最大化します。Dのログを残さないのは、むしろ事故の検知・調査を困難にし、対策として逆効果です。いずれも信頼境界・権限制限・観測性という防御の原則に反しています。