今天分享的是：人工智能专题：国际人工智能安全报告-英文版

报告共计：298页

这是首份《国际人工智能安全报告》，96位国际人工智能专家参与撰写。报告聚焦通用人工智能，探讨其能力、风险及风险管理技术，旨在为政策制定提供科学依据，助力国际社会更好地理解和应对人工智能风险。

1. 通用人工智能的能力

- 发展方式：基于深度学习，通过数据收集与预处理、预训练、微调、系统集成、部署和部署后监测等阶段开发。自中期报告发布后，多步推理能力因微调技术得到提升。

- 当前能力：能完成如辅助编程、生成图像等多种任务，但在执行有用的机器人任务、始终避免错误陈述等方面仍存在不足。自中期报告发布后，科学推理和编程测试表现显著提高。

- 未来能力：未来能力发展速度不确定。开发者正推进科学、工程和“智能体”能力的发展，且通用人工智能在软硬件开发中应用日益广泛。

2. 风险

- 恶意使用风险：包括通过虚假内容伤害个人、操纵舆论、网络攻击、生物和化学攻击等。通用人工智能使恶意行为更易实施，自中期报告发布后，其在恶意使用相关领域的能力有所增强。

- 故障风险： 存在可靠性问题，如产生幻觉、推理失败等；存在偏见，对不同群体产生不公平影响；可能出现失控情况，专家对其发生可能性看法不一。自中期报告发布后，对偏见和失控风险有了新的认识。

- 系统性风险： 涉及劳动力市场、全球研发差距、市场集中与单点故障、环境、隐私、版权侵权等方面的风险。自中期报告发布后，在劳动力市场影响、隐私和版权方面出现了新的情况和担忧。

- 开放权重模型的影响：开放权重模型利于研究创新，但也存在被恶意使用和传播模型缺陷的风险。目前，评估其风险应考虑边际风险。

3. 风险管理的技术方法

- 风险管理概述： 风险管理面临挑战，需采用“系统安全”方法和“深度防御”策略。目前存在风险识别和评估困难、难以确定责任和激励有效行动等问题。

- 通用挑战： 技术上，人工智能体可能增加风险，使用场景广泛、模型内部运作难以理解等问题增加了安全保障难度；社会层面，技术发展迅速使治理难以跟上，竞争压力可能导致开发者忽视风险，责任难以确定等。

- 风险识别和评估： 虽有多种技术用于风险识别和评估，但现有方法存在局限性，全面评估需要综合多种方法、大量资源和更好的信息获取途径。目前缺乏明确标准和严格评估，政策制定者面临挑战。

- 风险缓解和监测： 训练更可靠的模型有一定进展，但现有方法无法完全防止不安全行为；监测和干预可预防故障和恶意使用，但现有工具易被规避；有多种保护隐私的方法，但许多方法因人工智能系统的计算要求而无法应用。

以下为报告节选内容