微信公众号 计算机与网络安全

加入知识星球人工智能、算力算网 下载文件

人工智能模型已经越来越擅长生成计算机代码。对于许多行业的软件开发来说，它们是强大而有前途的工具，但它们也可能带来直接和间接的网络安全风险。该报告确定了与人工智能代码生成模型相关的三大类风险，并讨论了它们的政策和网络安全影响。

最近的发展提高了大语言模型（LLM）和其他人工智能系统生成计算机代码的能力。虽然这对软件开发领域来说很有希望，但这些模型也可能带来直接和间接的网络安全风险。在本文中，我们确定了与人工智能代码生成模型相关的三大类风险：1）生成不安全代码的模型，2）模型本身容易受到攻击和操纵，3）下游网络安全影响，如训练未来人工智能系统中的反馈循环。

现有研究表明，在实验条件下，AI代码生成模型经常输出不安全的代码。然而，评估人工智能生成代码的安全性的过程非常复杂，包含许多相互依赖的变量。为了进一步探索Al编写的不安全代码的风险，我们评估了五个LLM生成的代码。每个模型都有一组相同的提示，这些提示被设计用来测试可能产生错误或不安全代码的场景。我们的评估结果显示，由这五种不同模型生成的代码片段中，几乎有一半包含通常会产生影响并可能导致恶意利用的错误。这些结果仅限于我们评估的狭窄范围，但我们希望它们能够有助于围绕AI代码生成模型的影响的更大规模的研究。

鉴于这两种代码生成模型的当前效用以及它们的能力将继续提高的可能性，管理它们的策略和网络安全影响是很重要的。主要调查结果如下：

行业采用AI代码生成模型可能会给软件供应链安全带来风险。然而，这些风险不会在组织间平均分布。规模更大、资源更充足的组织将比面临成本和劳动力限制的组织更有优势。

多个利益相关者在帮助减轻与人工智能生成的代码相关的潜在安全风险方面发挥着作用。确保人工智能生成的代码输出安全的负担不应该只落在个人用户身上，也应该落在人工智能开发者、大规模生产代码的组织以及那些能够提高安全性的人身上，如政策制定机构或行业领袖。安全软件开发实践和NIST网络安全框架等现有指南对于确保所有代码（无论作者是谁)在进入生产之前都经过安全性评估仍然至关重要。其他网络安全指南，如设计安全原则，可以扩展到包括代码生成模型和其他影响软件供应链安全的人工智能系统。

代码生成模型也需要进行安全性评估，但目前很难做到。代码生成模型的评估基准通常关注于模型生成功能性代码的能力，但不评估它们生成安全代码的能力，这可能会在模型训练期间激励安全性相对于功能性的去优先级化。模型的训练数据（或对其内部工作的理解）不够透明，无法探究诸如性能更好的模型是否会产生更不安全的代码之类的问题。

|来源：美国智库“安全与新兴技术中心”（CSET）