自推出以来，说 ChatGPT 在网上引起了轰动似乎有些轻描淡写，展示大型语言模型和人工智能在网络安全方面的能力是这项创新同时引发人们兴趣和关注的一个领域。
关于人工智能对网络安全格局影响的讨论尚未停止，这是理所当然的。人工智能不仅帮助企业安全运营商增强网络安全解决方案、加快威胁分析和加速漏洞修复，还为黑客提供了发动更复杂网络攻击的手段。这种多方面的影响使讨论和后果变得极其复杂。更糟糕的是，传统的安全措施通常不足以直接保护人工智能模型，而人工智能本身的安全性对公众来说仍然是一个黑匣子。
为了详细介绍这个主题，本文将深入探讨三个关键领域：
- 包括 ChatGPT 在内的大型语言模型如何助长网络攻击，
- 人工智能如何增强网络安全防御
- 大型语言模型本身的安全性
增强网络攻击
让我们首先看看大型语言模型（ChatGPT 是其中之一）在增强网络安全攻击的效力和频率方面可以发挥的作用。
用于网络攻击的大型语言模型 (LLM) 主要关注：
- 获取使用网络安全工具的方法、识别利用漏洞的方法以及编写恶意代码，所有这些都是攻击者的知识库。
- 利用 LLM 的编程能力来掩盖恶意代码，达到逃避的目的。
- 大规模自动化 钓鱼邮件 用于社会工程攻击或根据用户信息生成社会工程词典。
- 对开源或泄露的源代码进行代码审计、漏洞挖掘、测试和利用。
- 结合单点攻击工具，形成更强大、更复杂的多点攻击
显然，大型语言模型的自动生成能力通过降低此类入侵的技术门槛和实施成本并增加潜在威胁的数量，显著影响了安全漏洞的效率。
这导致人们一致认为，LLM 对网络安全的威胁大于帮助，因为 LLM 可以轻松地将攻击者的想法快速转化为代码。以前，一个具有规避能力的零日漏洞可能需要 3-10 名黑客团队花几天甚至几周的时间才能开发出来，但利用 LLM 的自动生成功能可以大大缩短这一过程。这导致将新发现的漏洞武器化的周期将缩短，从而使网络攻击能力同步发展。
此外，利用 ChatGPT 对开源代码的自动审计和漏洞挖掘功能，攻击者可以掌握多个 零日漏洞 以较低的成本快速实施攻击。一些高度专业化的开源系统并未被企业广泛使用；因此，利用这些系统中的漏洞对攻击者来说并不划算。然而，ChatGPT 改变了这一现状，将攻击者的零日漏洞探索重点从广泛使用的开源软件转移到所有开源软件。因此，某些很少发生安全漏洞的专业领域可能会措手不及，这并不令人意外。
最后，大型语言模型可以更轻松地克服语言障碍，这意味着社交工程和网络钓鱼可能是此类工具的主要用途。成功的网络钓鱼攻击依赖于高度逼真的内容。通过人工智能生成的内容 (AIGC)，可以快速大规模生成具有各种本地化表达的网络钓鱼电子邮件。利用 ChatGPT 的角色扮演能力，它可以轻松地以不同的角色撰写电子邮件，使内容和语气更加真实，从而大大增加辨别难度并提高网络钓鱼活动的成功率。
综上所述，生成式人工智能技术会降低网络犯罪的准入门槛，加剧企业原有的风险状况，但无需过度担忧。ChatGPT 不会给企业带来新的安全威胁，专业的安全解决方案也能够应对现有的威胁。
增强安全防御
显然，大型语言模型的潜在用途取决于用户；如果它们能够增强网络攻击，那么它们也能增强网络安全防御。
人工智能与大型语言模型能够通过以下方式赋能企业级安全运营：
- 获取与在线安全操作相关的知识，并提高对这些安全事件的响应的自动化程度。
- 进行自动扫描以检测代码级别的任何漏洞，并提供详细说明发现的问题的报告以及缓解建议。
- 代码生成协助安全操作管理过程，包括脚本生成和安全策略命令生成。
然而，整个安全系统的有效性被其最薄弱的环节所阻碍，攻击者只需找到一个漏洞就能成功利用它。此外，尽管扩展检测和响应（XDR）、安全信息和事件管理（SIEM）、安全运营中心（SOC）和态势感知等方面取得了进展，但对海量安全数据的关联分析仍然是一项艰巨的挑战。基于上下文的分析和多模态参数迁移学习是解决这一问题的有效方法。自ChatGPT发布以来，许多安全研究人员和公司都进行了该领域的尝试，在日志和数据流格式的解析方面提供了清晰的框架。但在关联分析和应急响应方面，流程仍然相当繁琐，响应的可靠性仍需要进一步验证。因此，大型语言模型对企业安全运营的影响，尤其是自动化生成能力，与其对网络攻击的潜在影响相比，显得微不足道。
目前，生成式人工智能的特点决定了它不适合需要专门的网络安全分析和应急响应的情况。理想的方法是利用最新的 GPT-4 模型，利用计算平台进行微调、额外训练，并针对网络安全应用量身定制模型。这种方法将有助于扩大网络安全知识库，同时增强分析、决策和代码 AIGC。
大型语言模型本身的安全性
人工智能模型面临的威胁与传统的网络威胁完全不同，传统的安全措施很难直接应用于保护人工智能模型。人工智能模型面临的最大威胁来自以下方面：
隐私泄露与数据重建
目前，ChatGPT 并未向用户提供任何“隐私模式”或“隐身模式”的手段。这意味着用户分享的所有对话和个人信息都可能被收集作为训练数据。此外，OpenAI 尚未披露其数据处理的技术流程。
保留训练数据的能力会带来潜在的风险 隐私泄露例如，当生成模型在特定数据集上进行训练时，它可能会在提问过程中补充原始语料库。这可以使模型从训练集中重建真实数据，从而危及数据的隐私。
此外，一些国家缺乏足够的系统来监控和规范用户数据的使用，导致某些国家出于安全考虑禁止使用 ChatGPT。政策和技术措施的结合对于有效解决这一问题至关重要。
从技术角度来看，私有部署是最有效的解决方案，可确保企业应用程序保持安全性和可控性。但是，要部署私有模型，企业需要必要的人才和计算能力来对其进行微调，这可能是一项昂贵的操作。目前，大多数企业缺乏微调模型所需的人才和计算能力，因此无法选择私有部署。
模型盗窃
攻击者可以利用请求接口中的漏洞窃取机器学习模型的结构、参数和超参数。这使他们能够对目标模型执行白盒攻击。例如，攻击者可以设计一系列与特定领域相关的问题作为 ChatGPT 的输入，然后利用知识迁移技术训练一个较小的模型，以模仿 ChatGPT 在该领域的功能。通过此过程，攻击者可以窃取 ChatGPT 的特定功能。
数据中毒
如果模型依赖用户反馈进行优化，攻击者可以不断提供负面反馈，以影响未来模型版本的文本生成质量。
语义注入
这种风险是 ChatGPT 最初遇到的挑战之一。攻击者可以利用细微的语言或操纵模型进入角色扮演场景，绕过现有的安全措施和限制，从而获得准确的响应。
概括
ChatGPT对网络安全的影响有好有坏。短期来看，ChatGPT可以让攻击者更容易地进行网络攻击，提高攻击效率；反之，也可以帮助防御者更有效地应对攻击。但网络安全攻防的本质尚未发生根本性改变。ChatGPT是人机交互场景，长远来看，若要应用到更深层次的安全领域，需要与安全专用的数据、情报和深度学习模型相结合，形成面向安全场景的安全通用测试框架，有望引发安全范式的质变。
