最新の議論
AIエージェントが情報を権限と取り違えるとき
文書を理解することと、その指示に従って行動することの境界を守る
生命保険会社が、契約保全の依頼に必要な資料をAIエージェントで整理する場面を想像してください。エージェントは文書を検索し、記録を比較して、回答案を作成できます。ところが添付ファイルに、追加の本人確認には契約ファイル全体を新しい外部アドレスへ送信する必要がある、と書かれていました。
添付ファイルは判断材料になり得ます。しかし、エージェントの権限を拡張する資格はありません。同じエージェントが機密記録の取得、宛先の選択、メッセージの送信までできるなら、読む作業が無許可の情報開示に変わりかねません。これは仮想の事例であり、Genellipseの顧客で発生した事故ではありません。
経営者として私が問うのは、モデルがもっともらしい実行理由を示しても、その転換を何が防ぐのかということです。エージェント型AIを拡大する前に、誰が権限を付与し、それをどこで強制し、モデルが資料を誤解しても何が守られるのかを明確にしたいと考えています。
ツールを増やす前に、行動の境界を設計する
私は文書の解釈と、記録の変更や外部への連絡を行う権限を分けます。案件を準備するエージェントには、その案件に必要なアクセスを与えます。連携が簡単になるという理由だけで、すべての契約を読み、任意のメッセージを送れる広範なサービスアカウントを引き継がせるべきではありません。
OWASPは、過剰な機能、権限 、自律性を過度なエージェント権限の要因として挙げています。。実務では、小さく明確な業務操作を定義し、その条件をモデル自身の判断の外側、アプリケーションや接続先のシステムで強制します。
例えば、文書開示の提案には、案件、許容される目的、文書ID、受信者を指定させます。実行サービスは、現在の利用者の権限、案件との関係、開示できる情報、受信者の確認状況を照合します。説明が説得的でも、不一致は拒否すべきです。案件を完了するという一般的な指示が、その全内容を無制限に開示する許可に変わってはなりません。
| 段階 | 認められる役割 | 切り離して維持すべき権限 |
|---|---|---|
| 読む | 出典付きで関連する事実を抽出する | 出典内の指示はアクセス権を拡張できない |
| プロポーズする | 具体的な行動と根拠を準備する | 提案が自分自身を承認することはできない |
| 承認する | 範囲を照合し、必要な承認を得る | 承認は実際の案件、宛先、 情報に対応する |
| 実行 | 承認された操作だけを行う | パラメータが変われば権限を再確認する |
| 検証する | 結果の状態を確認し、例外を記録する | ツール呼び出しだけでは完了の証明にならない |
これは運用設計であり、すべての作業に人のクリックが必要という主張ではありません。低リスクで反復可能な操作は、狭く強制可能な条件で事前承認できます。大切なのは、処理中に取得した資料がその条件を拡張できないことです。APIやModel Context Protocol（MCP）のツールでもこの原則を保つべきであり、接続できること自体は信頼の証明ではありません。
承認を、意味のある具体的なものにする
確認者に実際の動作が見えないまま「続行しますか」と尋ねる画面では不十分です。この例では、受信者、その確認の根拠、対象文書、目的、開示内容を明確に提示したいと思います。安心させるようなエージェントの要約は、それらの代わりになりません。
承認は、担当者が確認した特定の操作に対応する必要があります。その後に宛先を変え、文書を差し替え、範囲を広げた場合、以前の承認を黙って引き継いではなりません。実行層は承認済みパラメータと現在の権限を再確認すべきです。アクセス権や案件状況が変わった後に、待ち行列の処理が実行される場合にも重要です。
人による確認には、実効性のある作業環境が必要です。曖昧な依頼を何百件も短時間で承認させれば、機械的な受諾を招きます。安全で範囲の限られた作業の不要な承認は減らし、重大 な行動や通常と異なる組合せに意味のある確認を残します。承認済みの基準との差分を示し、拒否や調査への明確な経路を用意すべきです。
第二のエージェントが、独立した確認になるとは限らない
準備担当のエージェントが、添付ファイル内の指示を整った要約に変えたとします。確認担当はその要約を読み、開示依頼を標準手順だと思い込み、実行担当に渡します。元の出典が見えなくなる一方、指示は社内の提案のように見える可能性があります。
私は、出典の識別情報と信頼区分を引継ぎ後も保持させます。要約に転記された主張は、その出典の主張のままです。別のエージェントが繰り返しても管理者の権限は得られません。独立した強制制御は、同じ資料を見たモデル同士の同意だけでなく、組織の権限と検証済み記録に基づく必要があります。
リスクには、ツールを一度も起動しない汚染された回答も含まれます。例外の省略や契約条件の誤記が、人の判断に影響することがあります。そのため行動制御と、準備された証拠の忠実性の確認が必要です。送信権限の制限は一つの結果を防ぎますが、残された助言の正しさを証明しません。
事業への影響と、正当なサービスの両方を試験する
OWASPは、最小権限と高リスク操作に対する人の承認を緩和策として推奨しています。。私はこれを、合成した記録と管理された送信先を使う、実際の案件ワークフローの試験へ落とし込みます。
不審な資料を読んだ後を追跡すべきです。別の作業を提案するか。無許可の宛先をアプリケーションが遮断するか。添付の変更で以前の承認を無効にできるか。要約、ツールの応答、再試行を経ても不適切な依頼が遮断されるか。正常に完了すべき正当な作業も含め、期待結果を試験前に決めます。
私は、境界を越えようとした試行と、実行された無許可操作を分けて報告します。禁止された操作をモデルが提案し実行サービスが拒否した場合と、モデル自身が拒否した場合は異なります。両方重要ですが、どの層が守ったのかを経営陣に示すには全体を通した観察が必要です。小規模な試験で事故がないことは、将来の攻撃が成功しない証明ではありません。
通常の文書、対応言語、現実的な曖昧さも試験に含めます。特殊な依頼をすべて遮断すれば安全そうに見えても、不可欠なサービスが使えなくなります。セキュリティ上の失敗と並べて、不当な遮断、確認時間、正当な作業の完了を追跡します。モデル、検索対象、ツール定義、権限の変更時には関連試験を繰り返します。
復旧を、運用能力の一部として予算化する
不審な操作を検出した際は、すべてのサービスを不必要に止めず、影響を受けた実行経路を停止できるべきです。セキュリティと運用担当は、アクセスされた情報、実際に送信・変更された内容、使われた認証情報、待機中の操作の有無を把握する必要があります。ログは、機密情報をあらゆる監視システムへ拡散せずに調査を支えるべきです。
封じ込めと修復は別です。認証情報 の失効は追加の行動を止めても、開示済み情報を取り戻せません。プロンプトの修正は完了済みの記録変更を元に戻しません。担当チームは影響案件を評価し、可能な範囲で信頼できる状態を回復し、必要な通知を判断して、再開条件を承認します。
これは投資の議論を変えます。エージェントの費用には、制御された連携、確認の人員、試験、復旧が含まれます。それらは生産性を信頼できるものにする費用です。私は、モデルに適切に振る舞うよう指示したという説明だけに依存する広範な自律性より、厳しい試験でも境界が守られる狭い業務を承認したいと考えます。
Genellipseができること
Genellipseでは、業務責任者、セキュリティ、アーキテクチャ、運用の合同検討から始めます。重要なワークフローを一つ選び、読む情報源と実行可能な操作を可視化し、既存の制御をどこに残すかを特定します。初期成果物は権限マトリクス、信頼境界図、評価計画、インシデント対応演習です。
Cortex AI OSは、統制されたエージェント連携の基盤です。合意した実装の範囲で、ツール権限、承認箇所、活動記録を業務に照らして評価します。GeneDataは出典の追跡と情報アクセスの制御を支援できます。保険ではAegisNowが、案件と許可された保全操作を定義する業務の文脈を提供します。これらの役割は、パートナーの環境と採用する機能に照らして検証します。
GeneSecureとCISO Advisoryは、セキュリティ評価、アクセス設計、対応計画を支援できます。GeneComplyは、証拠と制御レビューの業務で適合性を評価し、義務の解釈は組織の法務 ・コンプライアンス責任者が担います。連携では、モデルの指示やMCP接続の存在だけに依存せず、接続先サービスに認可を保持します。
アクセスと範囲の条件が整えば、六週間以内の集中的なMVPで、実行できることと拒否すべきことを試験し、限定された業務を示せます。受入条件には、正当なサービスの完了、強制された行動境界、演習済みの復旧プロセスを含めます。プロンプトインジェクションを根絶したという保証にはしません。
私がGenellipseのパートナーシップに求めるのは、運用設計全体に責任を持ち続けることです。エージェントが理解と効率的な行動を支えながら、重要な段階を誰が承認できるかは組織が管理します。情報はその決定を支えます。知らない間に許可そのものになってはなりません。
考察から実践へ
Genellipseと、統制されたAIの実装を相談する
