AI 보안의 시작, 꼭 알아야 할 핵심 키워드

AI 보안이란 무엇인가

AI 보안은 AI 모델, 학습 데이터, 입력값과 출력값, AI가 연결된 시스템을 공격과 오남용으로부터 보호하는 보안 체계를 의미한다. 기존 보안이 네트워크, 단말, 서버, 사용자 계정 보호에 초점을 맞췄다면, AI 보안은 여기에 모델과 데이터, AI의 의사결정 과정까지 포함한다는 점이 특징이다.

AI 모델은 데이터를 기반으로 학습하고, 입력된 정보에 따라 결과를 생성한다. 따라서 공격자는 AI가 잘못된 답변을 하거나 의도하지 않은 행동을 하도록 입력을 조작할 수 있다. 또 학습 데이터나 민감 정보가 노출되거나, AI가 과도한 권한을 부여받아 예상치 못한 작업을 수행하는 상황도 보안 리스크가 될 수 있다.

이 때문에 AI를 도입하는 조직은 AI의 성능뿐 아니라, 어떤 데이터에 접근하는지, 어떤 권한으로 동작하는지, 결과를 어떻게 검증할 것인지까지 함께 고려해야 한다.

알아두면 좋은 AI 보안 핵심 용어

에이전틱 AI

에이전틱 AI는 사용자의 지시를 바탕으로 스스로 판단하고 여러 단계를 수행하는 AI를 뜻한다. 단순히 질문에 답하는 수준을 넘어, 이메일 작성 및 전송, 일정 조율, 파일 검색, 시스템 작업 등 특정 목표를 달성하기 위해 능동적으로 행동할 수 있다.

업무 효율을 높일 수 있다는 장점이 있지만, 잘못된 권한이 부여되거나 악의적인 입력을 받으면 의도하지 않은 작업으로 이어질 수 있다. 따라서 에이전틱 AI를 사용할 때는 수행 가능한 작업 범위와 접근 권한을 명확히 제한하고, 중요한 작업에는 검토 절차를 두는 것이 필요하다.

기계 신원

기계 신원은 사람 대신 시스템, 애플리케이션, 서비스 계정, API, AI 에이전트 등이 사용하는 디지털 신원을 의미한다. 클라우드와 자동화 환경이 확대되면서 비인간 계정이 시스템에 접근하는 경우가 크게 늘고 있다.

AI 환경에서도 기계 신원 관리는 중요하다. AI가 외부 시스템과 연동하거나 데이터를 조회하려면 인증 키, 토큰, 서비스 계정 등을 사용하는 경우가 많기 때문이다. 이런 인증 정보가 노출되면 공격자가 AI나 연결 시스템을 악용할 수 있으므로, 키 관리와 권한 최소화, 주기적인 점검이 필요하다.

제로 트러스트

제로 트러스트는 내부와 외부를 구분해 신뢰하는 방식에서 벗어나, 모든 접근을 지속적으로 검증하는 보안 원칙이다. “한 번 인증했으니 안전하다”는 전제가 아니라, 사용자와 기기, 애플리케이션, 접근 위치, 행위 등을 계속 확인하는 방식이다.

AI 환경에서는 제로 트러스트의 중요성이 더 커진다. AI가 민감 데이터에 접근하거나 업무 시스템과 연결될 경우, AI 역시 검증 대상이 돼야 하기 때문이다. 사람뿐만 아니라 AI와 기계 신원의 행동까지 확인하고, 필요한 범위에서만 권한을 부여하는 접근이 필요하다.

DSPM

DSPM(Data Security Posture Management)은 조직 내 데이터가 어디에 저장돼 있는지, 누가 접근할 수 있는지, 어떤 위험에 노출돼 있는지를 파악하고 관리하는 체계를 말한다.

AI는 학습과 추론 과정에서 다양한 데이터를 활용한다. 이때 민감 정보나 개인정보, 내부 문서가 적절한 통제 없이 사용되면 정보 유출 위험이 커질 수 있다. DSPM은 AI가 다루는 데이터의 위치와 접근 권한, 노출 가능성을 점검하는 데 중요한 역할을 한다.

자율형 SOC

자율형 SOC(Autonomous SOC)는 보안 관제 업무에 AI와 자동화 기술을 적용해 위협 탐지, 분석, 대응 과정을 효율화하는 운영 방식을 의미한다. 보안 경고가 대량으로 발생하는 환경에서는 사람이 모든 이벤트를 직접 분석하기 어렵기 때문에, AI를 활용해 우선순위를 판단하고 반복 업무를 자동화하는 방식이 주목받고 있다.

다만 그렇다고 해서 자율형 SOC가 모든 판단을 완전히 대체한다는 의미는 아니다. AI가 분석 속도와 대응 효율을 높일 수는 있지만, 중요한 의사결정과 예외 상황에 대해서는 보안 담당자의 검토와 운영 기준이 함께 필요하다.

AI 공격에서 자주 쓰이는 용어

프롬프트 인젝션

프롬프트 인젝션은 AI에게 입력되는 지시문이나 데이터를 악의적으로 조작해, 원래 의도와 다른 답변이나 행동을 하도록 유도하는 공격이다. 예를 들어 AI가 외부 문서, 이메일, 웹페이지를 읽고 작업을 수행하는 경우, 공격자가 그 안에 숨겨둔 지시문을 AI가 따르게 만들 수 있다.

특히 외부 정보를 읽고 요약하거나, 다른 시스템과 연동해 작업하는 AI에서는 프롬프트 인젝션이 심각한 보안 위협으로 이어질 수 있다. 따라서 입력값 검증, 권한 제한, 출력 결과 검토가 함께 이뤄져야 한다.

모델 탈취

모델 탈취는 AI 모델의 구조나 동작 방식을 분석하거나 복제해 모델 자체 또는 모델이 학습한 정보를 빼내려는 시도를 의미한다. 기업이 자체 개발한 AI 모델이나 특화된 데이터로 학습한 모델은 중요한 지식 자산이 될 수 있다.

공격자가 모델의 응답을 반복적으로 수집하거나 분석하면 모델의 동작 특성을 유추할 수 있고, 경우에 따라 유사한 모델을 재현하려는 시도로 이어질 수 있다. 따라서 기업은 모델 접근 제어, 사용량 제한, 비정상 요청 탐지와 같은 보호 조치를 통해 축적한 모델의 경쟁력이 유출되는 것을 방지할 필요가 있다.

데이터 포이즈닝

데이터 포이즈닝은 AI 모델이 학습하는 데이터에 악성 데이터나 왜곡된 데이터를 섞어 모델의 판단을 흐리게 만드는 공격이다. 겉으로는 모델 성능 저하나 품질 문제처럼 보일 수 있지만, 의도적인 데이터 조작이 원인일 수 있다는 점에서 보안 관점의 점검이 필요하다.

AI 모델은 학습 데이터의 품질에 큰 영향을 받기 때문에 학습 데이터의 출처와 무결성을 확인하고, 이상 데이터를 탐지하는 절차가 중요하다.

딥페이크

딥페이크는 AI 기술을 이용해 만든 가짜 이미지, 음성, 영상 등을 말한다. 기술 자체는 콘텐츠 제작이나 교육 등 다양한 분야에 활용될 수 있지만, 보안 측면에서는 사칭, 피싱, 금융사기, 허위 정보 유포 등에 악용될 수 있다.

특히 임직원이나 경영진의 목소리, 얼굴을 모방한 딥페이크는 업무 지시나 금전 거래를 가장한 공격에 활용될 수 있다. 따라서 중요한 요청은 음성이나 영상만으로 판단하지 않고, 별도의 검증 절차를 거치는 것이 필요하다.

AI 보안의 핵심은 통제와 검증