"AI의 기억을 조작한다" 메모리 포이즈닝이란

메모리 포이즈닝이란?

AI 에이전트의 메모리는 대화 기록만을 의미하지는 않는다. 사용자의 선호나 과거 업무 내용, 이전 작업 결과 등을 저장해 두었다가 이후 판단과 행동에 다시 활용한다. 덕분에 사용자는 같은 설명을 반복하지 않아도 되고, 에이전트는 앞선 맥락을 이어받아 작업을 수행할 수 있다.

문제는 이 메모리에 잘못된 정보가 들어갔을 때다. 메모리 포이즈닝은 공격자가 AI 에이전트의 메모리에 악의적이거나 조작된 정보를 남겨, 이후의 판단과 행동에 영향을 주는 공격 방식이다. 에이전트가 오염된 정보를 정상적인 과거 정보나 업무 규칙으로 받아들이면 이후 비슷한 요청을 처리할 때 이를 판단 근거로 다시 활용할 수 있다.

특히 공격자가 반드시 메모리 저장소에 직접 침입해야 하는 것은 아니다. 대화나 외부 문서, 웹페이지처럼 에이전트가 정보를 받아들이는 경로를 통해 잘못된 내용을 기억하게 만들 가능성도 있다. 이렇게 한 번 저장된 정보는 이후 관련 작업에서 다시 호출되며 에이전트의 판단에 지속적으로 영향을 미칠 수 있다.

프롬프트 인젝션과의 차이점은?

메모리 포이즈닝은 흔히 알려진 프롬프트 인젝션과 비슷해 보이지만, 한 번 속이고 끝나는 것이 아니라 공격이 남는다는 점에서 차이가 있다.

프롬프트 인젝션은 AI가 현재 처리하고 있는 입력이나 외부 콘텐츠 속 악성 지시를 명령으로 받아들이도록 유도하는 공격이다. 반면 메모리 포이즈닝은 잘못된 정보가 장기 메모리에 저장될 경우, 현재 작업이 끝난 뒤에도 그 영향이 남을 수 있다.

예를 들어 업무용 AI가 “특정 상황에서는 추가 확인 없이 처리해도 된다”는 내용을 과거 업무 규칙으로 기억했다고 가정해 보자. 당장은 별다른 문제가 발생하지 않을 수 있다. 하지만 나중에 유사한 요청을 처리하는 과정에서 이 기억을 다시 불러오면, 잘못된 규칙이 정상적인 업무 절차처럼 작동할 수 있다.

이 때문에 메모리 포이즈닝은 공격 순간보다 그 이후가 더 중요할 수 있다. 잘못된 정보가 잠시 머무는 것이 아니라, 다음 대화와 다음 작업의 판단 근거로 반복해서 사용될 가능성이 있기 때문이다.

AI가 직접 행동할수록 더 커지는 위험

AI 에이전트는 질문에 답하거나 문서를 요약하는데 그치지 않는다. 사내 시스템과 연결해 정보를 조회하고 외부 도구를 실행하며, 정해진 절차에 따라 실제 업무까지 처리할 수 있다.

이런 환경에서는 오염된 기억이 단순한 오답으로 끝나지 않을 수 있다. 에이전트가 오염된 정보를 정상적인 지침으로 받아들인 상태에서 이메일 발송, 파일 수정, 데이터 삭제, 계정 설정 변경 같은 권한까지 갖고 있다면 왜곡된 판단이 실제 업무로 이어질 수 있기 때문이다.

과거의 선호나 관행이 현재의 승인처럼 해석될 경우 위험은 더 커진다. “예전에도 이렇게 처리했다”는 기억과 “지금 이 작업을 실행해도 된다”는 권한은 전혀 다른 문제다. 하지만 에이전트가 이를 명확하게 구분하지 못한다면, 과거에 주입된 정보가 현재의 행동을 좌우할 수 있다.

따라서 메모리 포이즈닝은 AI가 무엇을 잘못 기억했는지만 볼 것이 아니라, 그 기억을 바탕으로 어디까지 행동할 수 있는지도 함께 살펴봐야 한다.

AI의 기억도 검증이 필요하다

대응의 출발점은 AI가 기억하고 있다는 이유 만으로 그 정보를 곧바로 신뢰하지 않는 것이다.

먼저 어떤 정보가 메모리에 저장되는지 통제하고, 외부에서 유입된 데이터가 그대로 장기 기억으로 남지 않도록 검증 절차를 마련해야 한다. 사용자나 세션별로 메모리를 분리하고, 필요 이상으로 오래 저장되지 않도록 보존 기간과 범위를 제한하는 것도 중요하다.

에이전트에 부여하는 권한 역시 업무에 필요한 수준으로 최소화해야 한다. 정보 조회가 목적이라면 수정이나 삭제 권한까지 줄 필요는 없고, 중요한 작업에는 별도의 승인 절차를 두는 것이 바람직하다. 특히 송금이나 환불, 데이터 삭제, 권한 변경처럼 영향이 큰 작업은 과거 메모리만을 근거로 자동 실행되지 않도록 현재 사용자의 확인을 다시 받는 절차가 필요하다.

결국 AI 에이전트 시대의 보안은 모델 자체를 보호하는 데서 끝나지 않는다. 무엇을 기억하게 할 것인지, 그 기억을 얼마나 신뢰할 것인지, 그리고 기억을 바탕으로 어디까지 행동하도록 허용할 것인지까지 함께 설계해야 한다.