생성형 AI 사용 시 주의할 사항은?

안랩 시큐리티 레터 978호에서는 AI 챗봇의 유형에 대해 알아봤다. 이들을 통칭해 ‘생성형 AI(Generative AI)’라고 부른다. 생성형 AI란 이미지와 비디오, 텍스트 등을 포함하는 대량의 데이터를 학습해 문맥과 의미를 이해하고 새로운 데이터를 생성하는 AI 기술을 말한다. 생성형 AI는 다양한 비즈니스 환경에서 활용도가 높지만, 사용 시 보안에 유의해야 한다. 이번 글에서는 그 이유와 함께, 국가정보원이 공개한 생성형 AI 활용 보안 가이드라인에 대해 소개한다.

 

 

가장 대표적인 생성형 AI는 일반인들에게 많이 알려진 챗GPT이다. 챗GPT는 방대한 학습 자료를 바탕으로 복잡한 언어 패턴과 의미를 학습하고, 다양한 추론 작업을 통해 전문적이고 창의적인 결과물을 만들어낸다.

 

앞으로는 인간이 지식을 습득하고 활용하는 능력보다 AI 활용 능력이 생산성에 큰 영향을 미칠 것으로 보인다. AI를 제대로 사용하면 반복적인 작업을 줄이고 효율적인 업무 환경을 구축할 수 있기 때문이다. AI에게 질문을 얼마나 정확하게 하느냐에 따라 생성형 AI의 결과물도 다르게 출력된다.

 

하지만 생성형 AI는 여러 가지 문제점을 내포하고 있다. 첫번째는 잘못된 정보이다. 생성형 AI는 대량의 데이터를 기반으로 학습했지만, 그렇다고 해서 생성형 AI가 제공하는 정보가 100% 정확한 것은 아니다. 학습한 데이터는 최신 데이터가 아니고, 누군가의 편향된 정보라면 잘못된 정보를 통해 가짜 뉴스가 확산되는 등 사회적 혼란을 가져올 수도 있다. 따라서 사용자는 생성형 AI의 답변을 검증해야 한다.

 

두번째는 AI 모델의 악용이다. 특정 개인의 말투나 목소리, 사진이 사이버 범죄에 사용될 수 있다.  대량의 이메일 또는 메시지를 전송하거나 사이버 보안 위협 코드를 배포하는 등 사회적 혼란을 야기시킬 수 있으니 주의해야 한다.

 

세번째는 데이터 유출이다. 생성형 AI는 기존의 학습된 데이터뿐만 아니라 대화 과정에서도 개인의 질문을 통해 스스로 학습하고 성장한다. 따라서 개인정보나 민감한 정보가 수집돼 기밀이나 대화 기록이 그대로 유출될 수 있다.

 

국정원, ‘챗GPT 등 생성형 AI 활용 보안 가이드라인’ 배포

국가정보원이 최근 챗GPT 관련 보안 문제를 예방하기 위해 마련한 '챗GPT 등 생성형 AI 활용 보안 가이드라인'을 공개했다.

 

챗GPT 등 생성형 AI 기술을 활용하는 과정에서 △ 업무상 비밀ㆍ개인정보 유출 △ 가짜뉴스ㆍ비윤리적 자료 생성 등 기술 악용 우려가 제기되자 지난 4월 국정원이 국가보안기술연구소와 학계 전문가들과 함께 이번 보안 가이드라인 제정에 착수한 것이다.

 

국정원은 국가 사이버안보 정책을 수립ㆍ비시행하는 기관으로서 이번 보안 가이드라인을 마련했으며, 각급기관이 생성형 AI 기술을 적극 활용할 수 있는 기반을 조성했다. 보안 가이드라인 제정을 위해 '국가 사이버안보 민관 협의체 회의'를 열고 관련 분야 산학연 전문가의 의견도 청취했다.

 

이번 보안 가이드라인은 생성형 AI 기술 서비스 접속부터 질의, 결과물 활용 등의 과정 전반에서 지켜야 할 보안 지침을 단계별로 안내하고, 각급기관 담당자는 물론, 기술을 활용하는 일반 국민들도 이해할 수 있도록 제작됐다.

 

구체적으로는 생성형 AI 기술과 관련한 △ 개요 및 해외동향(챗GPT 사례 중심) △ 보안위협 사례 △ 기술 사용 가이드라인 △ 국가ㆍ공공기관의 정보화사업 구축 방안 및 보안 대책 등을 소개했다.

 

국정원은 생성형 AI 기술을 안전하게 이용하기 위한 필수 보안수칙으로 △ 비공개ㆍ개인정보 등 민감 정보 입력 금지 △ 생성물에 대한 정확성ㆍ윤리성ㆍ적합성 등 재검증 △ 생성물 활용 시 지적 재산권ㆍ저작권 등 법률 침해ㆍ위반 여부 확인 △ 연계ㆍ확장 프로그램 사용 시 보안 취약 여부 등 안전성 확인 △ 로그인 계정에 대한 보안 설정 강화 등을 제시했다.

 

 

출처: 국정원

국정원은 생성형 AI의 대표적인 보안 위협 5가지를 예시로 들었다.

 

1) 피싱 이메일 및 말투 도용

AI 모델은 사용자가 제공하는 텍스트 스타일을 흉내내는 데 매우 효과적이며, 이를 통해 피싱 이메일을 생성하거나 특정 개인 또는 단체를 사칭하는 데 악용될 수 있다. 이렇게 생성된 정교한 피싱 이메일은 기존의 보안 시스템을 우회하고, 사람들이 이를 사실로 인식하도록 할 수 있다.

 

2) 사이버 보안 위협 코드 작성

AI 모델은 소프트웨어 코드를 생성할 수 있어 악성코드 작성에 사용될 소지가 있다. 보안 시스템을 회피하기 위해 AI 모델로 복잡한 악성코드를 작성할 수 있다.

 

3) AI 모델을 악용한 사이버 범죄 커뮤니티 활성화

일부 사이버 범죄 커뮤니티는 AI 모델을 활용해 악성 소프트웨어를 재현하거나, 범죄 행위에 대한 지침을 생성한다. 이 같은 커뮤니티의 활동이 점점 활성화되면서, 사이버 범죄의 위험성은 더욱 증가하는 추세이다.

 

4) 사회 공학적 영향

AI 모델은 사실적이고 믿기 쉬운 콘텐츠를 생성한다. 이를 통해 사용자는 다른 사람들을 속일 수 있는 잠재적 툴을 얻을 수 있다. 이는 사회공학적 공격을 더 용이하게 하고, 수많은 피해자를 낳는다.

 

5) 가짜 뉴스 생성

생성형 AI 모델을 통해 가짜 뉴스를 생성하기도 한다. 특히, 챗GPT 등 대규모 언어모델은 인간이 생성하는 수준의 현실적이고 설득력 있는 결과물을 생성해 허위 정보 유포에 악용될 수 있다.