「AI の記憶を操作する」メモリポイズニングとは

メモリポイズニングとは？

AI エージェントのメモリは、会話履歴だけを意味するものではありません。ユーザーの好み、過去の業務内容、以前の作業結果などを保存し、その後の判断や行動に再利用します。そのため、ユーザーは同じ説明を繰り返さずに済み、エージェントも前の文脈を引き継いで作業を進められます。

問題は、そのメモリに誤った情報が入った場合です。メモリポイズニング(Memory Poisoning) は、攻撃者が AI エージェントのメモリに悪意のある情報や改ざんされた情報を残し、その後の判断や行動に影響を与える攻撃手法です。エージェントが汚染された情報を正しい過去の情報や業務ルールとして受け入れると、後で似た依頼を処理する際に、判断の根拠として再利用するおそれがあります。

攻撃者が必ずしもメモリの保存先に直接侵入する必要はありません。会話、外部文書、Web ページなど、エージェントが情報を取り込む経路を通じて、誤った内容を記憶させる可能性もあります。一度保存された情報は、その後の関連作業で再び呼び出され、影響が続くおそれがあります。

プロンプトインジェクションとの違いは？

メモリポイズニングは、よく知られているプロンプトインジェクションと似ていますが、一度欺いて終わるのではなく、攻撃の影響が残る点で異なります。

プロンプトインジェクションは、AI が現在処理している入力や外部コンテンツに含まれる悪意のある指示を、命令として受け入れるよう誘導する攻撃です。一方、メモリポイズニングでは、誤った情報が長期メモリに保存されると、現在の作業が終わった後も影響が残るおそれがあります。

例えば、業務用の AI が「特定の状況では、追加の確認なしに処理してよい」という内容を、過去の業務ルールとして記憶したとします。直ちに問題が起こるとは限りません。しかし、後で似た依頼を処理する際にこの記憶を呼び出すと、誤ったルールが正規の業務手順のように機能する可能性があります。

このため、メモリポイズニングでは、攻撃の瞬間よりも、その後が重要になる場合があります。誤った情報が一時的にとどまるだけでなく、次の会話や作業の判断根拠として繰り返し使われるおそれがあるためです。

AI が直接行動するほど高まるリスク

AI エージェントは、質問への回答や文書の要約だけを行うものではありません。社内システムと接続して情報を照会し、外部ツールを実行し、定められた手順に沿って実際の業務まで処理できます。

こうした環境では、汚染された記憶の影響が、単なる誤答で終わらない場合があります。エージェントが汚染された情報を正規の指針として受け入れ、さらにメール送信、ファイルの変更、データ削除、アカウント設定の変更といった権限まで持っていると、ゆがんだ判断が実際の業務に反映されるおそれがあるためです。

特に、過去の好みや慣行が現在の承認と解釈される場合、リスクはさらに高まります。「以前もこのように処理した」という記憶と、「今、この作業を実行してよい」という権限は、まったく別の問題です。しかし、エージェントが両者を明確に区別できなければ、過去に注入された情報が現在の行動を左右するおそれがあります。

そのため、メモリポイズニングについては、AI が何を誤って記憶したかだけでなく、その記憶を基にどこまで行動できるかも併せて確認する必要があります。

AI の記憶にも検証が必要

対策の出発点は、AI が記憶しているという理由だけで、その情報をすぐに信頼しないことです。

まず、どの情報をメモリに保存するかを制御し、外部から取り込んだデータがそのまま長期記憶に残らないよう、検証の手順を設ける必要があります。ユーザーやセッションごとにメモリを分離し、必要以上に長く保存されないよう、保存期間と範囲を制限することも重要です。

エージェントに与える権限も、業務に必要な最小限に抑えなければなりません。情報の照会が目的なら、変更や削除の権限まで与える必要はなく、重要な作業には別途承認手続きを設けることが望まれます。特に、送金、返金、データ削除、権限変更など影響の大きい作業は、過去のメモリだけを根拠に自動実行されないよう、その時点でユーザーに改めて確認を求める手順が必要です。

AI エージェント時代のセキュリティは、モデル自体の保護だけで完結しません。何を記憶させるか、その記憶をどこまで信頼するか、そして記憶を基にどこまで行動を許可するかを、併せて設計する必要があります。