넘쳐나는 AI를 위한 분야별 보안 가이드라인

새로운 AI 기술이 봇물처럼 쏟아져 나오고 있다. AI가 우후죽순 퍼지고 있는 상황에서 보안은 과연 충분히 보장되고 있을까? 특히 AI는 데이터와 알고리즘, 모델 등을 기반으로 작동하기 때문에 보안 위협에 취약하다. AI 기술은 악의적인 목적으로 사용될 수 있으며, 자율주행 차량의 경우 보안 문제는 생명과 직결될 수 있다. 이에 따라 다양한 AI 기술에 대한 보안 가이드라인도 수립되고 있다. 이번 글에서는 AI 보안 문제에 대비하기 위한 보안 가이드라인을 소개한다.

한국인터넷진흥원(KISA)이 정보보호에 초점을 맞춘 인공지능(AI) 보안 가이드라인과 함께 정보보호 관리 체계(ISMS-AI) 등 AI 보안 기준을 새롭게 마련할 것으로 알려졌다. KISA는 12월 11일 전쟁기념관에서 개최한 '사이버보안 성과 발표회'에서 '안전한 AI 개발 및 이용을 위한 보안 모델 연구'를 주제로 발표했다. 이 발표에서 KISA는 “민간과 함께 연구와 논의를 통해 AI 보안 가이드라인을 준비하고 있다”라고 밝혔다.

그동안 정부는 AI 관련 가이드라인을 여러 개 공개했다. 과학기술정보통신부(이하 과기정통부)의 '신뢰할 수 있는 AI 개발 안내서’, 국가정보원(이하 국정원)의 '챗GPT 등 생성형AI 활용 보안 가이드라인', 금융위원회의 '금융분야 인공지능 가이드라인', 개인정보보호위원회의 ‘AI 단계별 6대 가이드라인’ 등이다.

KISA가 AI 보안 가이드라인을 준비하는 이유는 민간 영역의 사이버보안을 책임지는 기관으로 증대하는 AI 기반 및 AI 대상 사이버위협에 대응하기 위함이다. 과기정통부의 가이드라인이 AI 개발 과정에서 신뢰성 확보를 위해 AI 개발사에 기술적인 요구사항과 점검 사항을 제시하는 것이라고 한다면, KISA의 가이드라인은 외부 침해·위협 행위로부터 서비스 제공사나 이용자를 보호하는 방안을 담을 계획이다.

이에 따라 KISA의 AI 보안 가이드라인은 과기정통부 AI 신뢰 가이드라인의 구성은 유지하되, 보안성에 집중할 계획이다. AI 개발자에게는 AI 개발 생명 주기별, AI 서비스 제공자에게는 서비스 제공 주기별 보안 요구사항 및 점검 항목을 제시하고, AI 점검 항목을 추가한 정보보호 관리 체계도 만든다는 구상이다.

생성형 AI 보안 가이드라인

이에 앞서 작년 6월 국정원은 '챗GPT 등 생성형 AI(인공지능) 활용 보안 가이드라인'을 배포했다. 생성형AI 활용 과정에서 기밀정보·개인정보 유출과 가짜뉴스·비윤리적 자료 생성 등 기술 악용 우려가 제기되자 지난 4월 국가보안기술연구소 및 학계 전문가들과 함께 보안 가이드라인 제정에 착수, 산학연 의견을 청취한 후 가이드라인을 만들었다.

국정원의 생성형 AI보안 가이드라인은 생성형AI 서비스 접속부터 질의, 결과물 활용 등 과정 전반에서 지켜야 할 보안 지침을 단계별로 안내하고 있다. 이 가이드라인에서는 생성형AI 기술 관련, 개요 및 해외동향, 보안위협 사례, 기술 사용 가이드라인, 국가·공공기관의 정보화사업 구축 방안 및 보안 대책 등을 소개한다.

국정원은 생성형AI를 안전하게 이용하기 위한 필수 보안 수칙으로 △비공개·개인정보 등 민감 정보 입력 금지 △생성물에 대한 정확성·윤리성·적합성 등 재검증 △생성물 활용 시 지적 재산권·저작권 등 법률 침해·위반 여부 확인 △연계·확장 프로그램 사용시 보안 취약 여부 등 안전성 확인 △로그인 계정에 대한 보안 설정 강화 등을 제시했다.

금융 AI 분야 보안 가이드라인

금융위원회는 22년 8월 금융권의 AI 활용을 지원하기 위해 ‘금융분야 인공지능 활용 활성화 및 신뢰 확보 방안’을 발표했다.

금융 분야는 로보어드바이저, 챗봇, 상품 추천, 이상거래탐지, 신용평가 및 여신심사 등에서 AI를 활용하고 있다. 금융 전반에서 AI 이용이 확산됨에 따라 AI 활용 시 개인정보 유출, 알고리즘 오작동, 학습 데이터 조작 등 위험 요소가 존재하며 다양한 보안 위협이 발생하고 있다. 이 가이드라인은 금융 AI 서비스 개발 실무자가 구체적인 보안 위협에 대응할 수 있도록 AI 모델 개발단계별 보안 고려사항과 AI 챗봇 서비스에 대한 보안성 체크리스트로 구성돼 있다. AI 보안성 체크리스트는 계정 관리, 접근 통제, 보안 점검, 입력 제한, 중요 정보 보안, 원격 접속 금지 등의 내용을 담고 있다.

그 이후 금융위원회와 금융보안원은 2023년 4월 금융권의 안전한 AI 사용을 위한 가이드라인을 제정하여 발표했다. AI 서비스 도입이 확대됨에 따라 개인정보 유출 등 다양한 보안 위협이 발생하고 있다는 우려에서 비롯된 조치였다.

이 가이드라인에서는 AI 모델 개발 시 고려해야 할 보안사항을 ‘학습 데이터 수집→ 학습 데이터 전(前)처리 → AI 모델 설계·학습 → AI 모델 검증·평가’ 등으로 제시한다. 학습 데이터 오염, 개인정보 유출, AI 모델에 대한 공격 등 구체적 보안위협에 대해 대응할 수 있도록 데이터 관리·처리 방법, 모델 설계 기법, 보안성 검증 방법 등을 제공한다.

챗봇 체크리스트에는 공통 23개와 선택 10개 등 총 33개 항목이 담겼다. 계정·악성코드·학습 데이터 관리, 접근통제, 백업·복구 절차 등 전반에 걸쳐 보안성 확보에 필요한 사항을 체크리스트 형태로 구체화해 이를 보안 실무자가 업무에 활용할 수 있도록 했다.

 

신뢰할 수 있는 인공지능 개발 안내서

과기정통부는 AI 시노리성이 전 세계적인 관심사로 부상함에 따라, 국내에서도 사람 중심의 AI 실현을 목표로 AI 윤리 기준을 2000년 12월에 발표했지만, 윤리적 관점에서 추상적인 항목을 제시하고 있어 실무현장에서 활용하기 어렵고, 중소기업은 신뢰성 요구사항을 도출하거나 검증 체계를 마련하기 어렵다는 판단 하에 ‘신뢰할 수 있는 인공지능 개발 안내서’를 제작, 배포했다.

 

그동안 국내외 많은 기관 및 기업이 AI 신뢰성 확보를 위한 윤리 원칙과 지침, 가이드라인을 내놓았으나, 기술적 관점에서 상세한 방법론을 제시한 사례는 아직 없다. 따라서 AI 제품 및 서비스 개발 현장에서 데이터 과학자, 모델 개발자 등 이해관계자들이 실무 관점에서 신뢰성 확보에 참고할 수 있는 지침서 성격의 자료를 만드는 것이 목표였다. 이를 위해 2021년 1월부터 2022년 12월까지 약 2년에 걸쳐 안내서를 개발하고, AI 신뢰성의 개념 및 신뢰성 확보를 위한 원칙과 항목들을 분석하고 종합적으로 정리했다.

AI 단계별 6대 가이드라인

개인정보보호위원회는 올해 AI 단계별 6대 가이드라인을 마련해 데이터 처리가 복잡한 AI 환경에서 개인정보보호법의 적용 원칙과 기준을 구체화할 계획이다. 개인정보보호위원회에 따르면, 먼저AI 단계별 6대 가이드라인을 마련해 데이터 처리가 복잡한 인공지능 환경에서 개인정보보호법의 적용 원칙과 기준을 구체화할 예정이다. 그리고, 사전적정성 검토제 운영으로 개인정보위원회가 AI 모델이나 서비스를 개발하는 스타트업과 함께 개인정보 법령의 준수 방안을 마련할 것이다. 아울러, 영상정보 원본 활용을 허용하는 규제 샌드박스 운영을 통해 자율주행차 등 모빌리티 전 분야에 적용을 확대해 첨단산업 육성을 지원할 계획이다.

여기에 더해, AI 연구자가 안전한 환경에서 고품질의 학습데이터를 저비용으로 활용할 수 있도록 개인정보 안심구역을 본격 운영하고, AI에 기반한 채용, 복지수급자 선정 등 개인의 삶에 중대한 영향을 미치는 자동화된 결정에 대한 설명 요구권과 거부권을 보장한다는 방침을 세웠다.