攻击者 vs 防御者，AI安全的未来将会如何？

AI技术正在以前所未有的速度蓬勃发展。特别是生成式AI变得越来越复杂和智能，已经不仅限于日常对话服务，更是在各个行业中引领创新。自ChatGPT之后，微软（MS） VASA-1、HeyGen、Sora AI、Suno AI等相继出现。只需一张面部照片和音频文件，就可以制作出人说话和动作的视频，并将给定的视频转换为40种语言和300多种声音，还可以制作电影或作曲。

然而，随着这些技术的发展，恶意利用AI的情况也在不断增加，安全行业正面临新的挑战。本文将介绍AI生成威胁的类型、恶意利用AI的案例和AhnLab利用AI的安全增强策略。

1.生成式AI的潜在风险

由AI衍生的网络威胁以多种方式出现，其中大多数已经在现实中发生并造成了严重损害。生成式AI带来的潜在风险主要有四种。

【图1】生成式AI的潜在风险

首先，幻觉（Hallucination）是指AI在基于所学习数据生成信息的过程中出现的错误。AI有时会生成实际上不存在或不真实的信息，这可能导致用户做出错误的决策并引发信任问题。

偏见（Bias）在所学习数据中固有的偏见性引发问题时出现。AI通过学习数据来学习模式并进行预测，如果学习数据中包含性别、种族、宗教等刻板印象或歧视性表达，就有可能生成偏见信息。

版权（Copyright）问题在于AI在学习大量数据的过程中使用了有版权的内容，这可能侵犯版权持有者的权利。AI生成内容的版权问题尚未在法律上得到解决，随着AI时代正式到来，这一问题必须得到解决。

数据隐私侵犯（Data Privacy Breaches）同样是一个不可忽视的重要问题。如果用于AI模型训练的数据包含个人信息或敏感信息，一旦这些数据被泄露或恶意利用，可能会引发严重问题。这可能导致个人信息被非法使用，从而造成隐私侵犯。

2.针对生成式AI的攻击

攻击者利用生成式AI的普及和目前众多企业和个人将生成式AI用于各种用途的现象，以各种方式对生成式AI发起攻击。从大框架来看，针对生成式AI的攻击包括▲对抗性提示（Adversarial Prompting）、▲数据污染（Data Poisoning）、▲模型逆向分析（Model Reversing）。

首先，对抗性提示可以分为越狱（Jailbreaking）和提示词泄露（Prompt leaking）。越狱是一种通过禁用或绕过AI的伦理限制的方法，攻击者通过巧妙设计的请求来规避AI系统的规则。这会致使AI以危险或非法的方式运行。

和字面上的意思一样，提示词泄露就是窃取生成式AI提示词的意思。提示词是帮助AI准确执行给定任务的指令或命令。如果系统提示词通过GitHub等代码共享平台泄露，攻击者可能会对其恶意利用，从而篡改AI或破坏其可靠性。特别是在像GPT模型这样的大型语言模型中，提示词泄露是一个大问题，这也可能对数据安全造成重大风险。

第二项数据污染是在AI系统的学习过程中故意插入恶意信息或扭曲数据，从而故意篡改AI输出结果的攻击。其典型的案例就是微软（Microsoft）的AI聊天机器人“Tay”事件。2016年推出的Tay基于用户提供的数据进行学习和对话，但当一些用户输入辱骂、种族歧视、性别歧视等不当数据时，Tay学习了这些内容，并开始频繁发表非常具有攻击性和仇恨性的言论。最终，微软在Tay发布仅16小时后就不得不停止其运营。这一事件使我们了解到了AI学习数据质量的重要性和攻击者是如何危害AI的。

第三项模型逆向分析是对AI模型进行反复查询，以此分析其工作方式并窃取学习数据的攻击技术。攻击者可以利用模型的响应来了解学习数据或模型的内部结构，从而泄露机密信息或个人信息等敏感信息。这是一种利用AI模型安全漏洞的攻击技术，在数据保护和模型安全方面构成了重大威胁。

3.应用AI而日益复杂的网络威胁

攻击者不仅攻击AI，还迅速将AI应用到他们的攻击活动中。利用AI的攻击包括▲制作恶意代码、▲网络钓鱼攻击、▲深度伪造(Deepfake)、▲漏洞分析和黑客攻击等，在复杂程度和规模上比以往更具危险性。

【图2】利用AI的攻击方法

首先，AI广泛用于编写恶意代码和脚本。攻击者通过AI大量编写用于规避检测的各种变体代码，从而绕过现有的安全系统。特别是在生成用于勒索软件或窃取个人信息的恶意代码方面，AI大幅提高了攻击的效率和速度。近期，利用AI搜索包含密码和加密货币钱包地址等敏感信息的图像，并加以恶意利用的案例也在增加。

此外，AI使攻击者能够更精确地进行网络钓鱼攻击。通过AI生成的网络钓鱼邮件内容看起来非常自然，就像是人写的一样。过去，可以通过特定的单词或句子结构来识别网络钓鱼，但现在AI能够基于大型语言模型（LLM）进行高度模仿，制作出难以与正常业务邮件或通知性邮件区分的网络钓鱼邮件。由于AI的发展，网络钓鱼邮件的数量相比过去增加了40倍以上，这充分表明了AI对实际网络攻击的巨大影响力。

深度伪造技术可以仅用几张照片和语音样本就制作出逼真的假视频。深度伪造技术的质量不断提高，不断被利用于制作虚假新闻、引起社会混乱的视频内容和电话诈骗等多种犯罪活动。攻击者已经可以通过合成名人面部的视频来传播虚假言论，或者利用特定人物的声音窃取金融信息。

AI在帮助攻击者分析漏洞和开发新黑客技术方面也起着关键作用。随着AI技术的发展，攻击技术正在普及，进入门槛也逐渐降低。此外，通过结合多种攻击方式，可以开发出新的黑客技术，并最大限度地提高网络攻击的效率。通过漏洞检测和模式分析，可以发现未知的安全漏洞，将其用于零日（Zero-Day）攻击。

4.AhnLab应用AI的安全增强策略

由于利用AI技术的攻击非常复杂多变，因此很难用传统的安全方法进行有效防御。因此，从响应利用AI的攻击和新威胁的角度来看，AI也是非常重要的。

【图3】AhnLab的AI技术应用方案

AhnLab积极应用AI技术来提升其解决方案和平台。AhnLab的AI技术基于将恶意文件和正常文件进行分类的归档技术，此外还利用基于行为的分析、URL信息、事件日志等多种数据来训练学习模型。这些技术应用于V3、V3 Mobile、EDR、MDS、TIP、XDR等所有主要产品，增强了整体的威胁检测、分析和响应能力。此外，在恶意代码和网络钓鱼邮件的检测与响应、潜在威胁预测、综合风险管理等多个方面不断提升安全技术。

AhnLab基于AI的安全技术主要应用于以下四个领域。

AI安全助手（AI Security Assistant）：一款由安全人员实时监控和响应安全事件的AI助手服务。AI Security Assistant能够分析入侵内容，并基于此提出后续响应方案。
AI检测与响应（AI Detection & Response）：实时检测和响应深度伪造、恶意代码、网络钓鱼邮件等各种威胁的技术。AI能够比人类更快、更准确地识别异常行为，从而在入侵事件发生后尽快做出响应。
AI主动响应（AI Proactive Detection）：AI在攻击发生之前预测并警告潜在的风险因素。通过学习攻击者的行为，提前了解攻击意图，并支持安全人员进行有效的威胁防御。
AI中心SOC（AI-native SOC）：在SOC通过AI监控安全状态，并对发生的威胁进行自动响应。

接下来我们来具体看看AhnLab是在哪些领域怎样应用AI技术的。

1) 恶意代码分析与响应

AI在分析恶意代码和推断攻击者意图方面发挥着关键作用。AhnLab通过将AI融入其基于云的恶意代码威胁分析和响应基础设施 ASD（AhnLab Smart Defense）来分析和响应恶意代码。ASD内置的AI对恶意代码的执行代码和外部特征进行分析，并通过行为动态分析综合识别攻击技术和引入途径。此外，通过比较分析相似样本和相关样本，对恶意代码进行分类并自动生成检测规则。通过这一过程，了解并推断攻击者的意图，实现后续攻击预测自动化，从而加强主动防御态势。AhnLab的V3、V3 Mobile和MDS使用AI来检测和拦截短信诈骗邮件和恶意文件，而AhnLab TIP则使用AI来撰写恶意代码分析报告和趋势报告。

2) 数据增强

AI通过预测和学习新型恶意代码和攻击技术的模式和变体来增强数据。通过这一过程，组织可以加强其主动响应体系。过去需要等到收集到恶意代码样本，但现在AI在新样本到达时就会自动分析并预测变体。例如，AI可以预测网络钓鱼邮件或攻击脚本的变体，并将其用于学习。此外，AI可以在攻击脚本中查找恶意命令，并编写正则表达式来搜索类似命令。这种数据增强技术用于检测网络钓鱼邮件、诈骗短信和可执行文件。

3) 基于AI的网络钓鱼邮件检测

网络钓鱼邮件是网络攻击的主要起点，因此对其进行准确检测和拦截至关重要。AhnLab能够使用AI准确分类和拦截网络钓鱼邮件。AI通过分析邮件主题、正文、发件人、附件、URL等各项元素，综合判断邮件是否为网络钓鱼邮件。此外，还提供该邮件被判定为网络钓鱼邮件的具体原因，帮助安全人员快速理解并响应攻击。特别是，AI可以通过反映用户反馈来持续提高网络钓鱼邮件的检测准确率，从而有效拦截企业和用户接收到的各类网络钓鱼邮件。

4) 威胁情报预测

AI通过分析大量警告日志来检测异常模式，并及早发现攻击迹象。处理安全解决方案和监控设备生成的大量警报日志是一项非常困难的任务。AI会自动分析这些日志，提取重要模式，并预测威胁发生的可能性。通过这一过程，AI可以减少误报（False Positive），并提前警告安全人员可能错过的重要事件。AI不仅收集警报，还通过综合分析多个事件来推断风险，并向分析人员提供经整理的信息，帮助及早预防攻击。

5) 威胁情报摘要说明

AI能综合并总结复杂的日志和行为检测结果，以帮助安全人员理解，并提出必要措施方案。AhnLab EDR或AhnLab XDR等安全解决方案的威胁检测信息包含大量复杂的日志，致使分析师难以解读。AhnLab的AI安全助手AhnLab Annie AI能够解读检测到的行为和日志，并在此基础上总结威胁的发生背景、根源、流程和防御体系等，将其传达给分析师，同时提出适当的响应措施。

6) 自动化的事件响应

AI基于预先编写的剧本（Playbook）和从过去事件数据中学习到的模型，提出最佳的恢复和响应方法，并自动生成事件响应报告，以增强网络弹性（Cyber Resilience）。例如，在发生入侵事件时，AI会隔离恶意代码和网络，并向负责人发送通知以撰写情况说明。如果情况说明没有问题，则完成报告后结束；如有必要，将对可疑系统进行全面调查。安全负责人只需审核并批准每个步骤即可。自动化的事件响应系统可帮助安全负责人专注于更重要的决策。

结论

以AI为武器的攻击者和防御者之间的战斗现在已经拉开了序幕。攻击者恶意利用AI的方式不断演变。为解决这一问题，安全负责人们正在构建更精确、更强大的基于AI的防御系统，并增强实时检测和响应威胁的能力。

基于AI的攻击正变得越来越复杂和智能，因此安全系统必须不断更新以跟上步伐。AhnLab将AI技术应用于所有产品，大幅提升检测和分析速度，并更准确地分析威胁数据，以支持安全负责人主动且高效地做出响应。通过这一方式增强网络弹性，并帮助实现更安全、更稳固的企业环境。

我们不应简单地将AI作为阻止攻击的工具，而应将其发展为革新网络安全范式的核心技术。在未来的安全环境中，AI将在缩小攻击者和防御者之间的差距和构建智能和进化的安全系统方面发挥十分重要的作用。