2024生成式AI安全与风险性评价.docx

《2024生成式AI安全与风险性评价.docx》由会员分享，可在线阅读，更多相关《2024生成式AI安全与风险性评价.docx（81页珍藏版）》请在优知文库上搜索。

1、生成式人工智能的快速崛起评估安全风险2023年12月关TCETaS2致谢2执行摘要3建议81 .韧式人工礴E简介111.1 人工智能简史111.2 变革的步伐131.3方法论172 .评估政治数字和物理安全风险202.1政治安全212.1 数字安全282.2 物理安全332.3 权衡恶意飕然风险来源363 .生成式人工智能和未来智能能力：机洒局限433.1 扩大调查工具箱分析和总结433.2开源和商业模式创断与风睑管理524.治理政策和法规554.1信令和报告564.2 禁令和红线”664.3 立J去环境的优势和劣势674.4全球落理684.5培训指导和保障74案例研究77案例研究1OSlNT

2、总结77案例研究2综合数据生成80关于作者第84作封面和封底使用的图像是由OPenAl的DA1.1.-E2生成的。生成式人工智能的快速崛起：评估安全风险执行摘要这份CETaS研究报告探讨了生成式人工智能对国家安全的影响。这些调查结果和建议基于公开文献和对政府学术界、工业界和民间社会50多名专家的研究访谈。瘴即璇口这是英国最全面的关于生成人工智能对国家安全影响的公开研究。生成式人工智能是人工智能的一种形式,可以根据用户建议生成图像音频和文本等内容。一些人认为,大量可能的生成式人工智能用例是彻底改变个人互动和企业运营方式的机会。颓,从强人类生产力的形式是一项重大挑战也是技术襁突破国家安全界限的典型

3、方式。生成式人工智能带来的安全风险可以被理解为增加现有的社会风险或带来全新的风险在大彝情况下生斌人工智能适合前者：虚窄舒息、欺怖J1.三辘待材料等安全风险并不是生成式人工智蒯蜘!腌而是通过技术在速度和规模上被放大,从而可育颉害更大t的的人。人口比以前多了。以这种方式了解国家安全状况应该会抑制对所构成威胁的前所未有性质的无端频底里同时能够更有针对性地关注生成人工智能催化风险的威胁领域。生成式人工智能还提供了在国家安全界使用的潜在机会。目前,生成式人工智能工具太不可靠且容易出错,在国家安全的最高风险环境中不值得信任。这意味着它fi处没有准备好用于需要做出决策或需要可解释性以满足问责和监督要求的地方

4、。对于刃陛可能想要使用生成式人工智能来破坏英国国家安全的人来说,准确性并羽R么重要如果大型语言模型（1.1.M）在生成深度伪造品或编写恶意软件方面表现不佳,那么攻击者的失败成本仍然很低。但从防御的角度来看类似的错误可能会导致重大的安全漏洞用户过度信任法学硕士的倾向可能会导致不愿挑战人工智能生成的输出。国家安全和技术讨论历来侧重于了解对手的威胁；意蹄成伤害的团体或个人。然而,希助沐向更广泛的支持的扩散要求思维方式的转变,以解释生成人工智能可能带来国家安全风险的所有无意或偶然的方式。这可以从不适当的人工智能的可能实例范围中看出采用定义为人工智能的不恰当和误导性的实现和部署辍。在关键国家基础设施(C

5、NI)例第私营部产阶人DIY实验等背景下对错过生成式人工智能翻顶峰的恐惧可能会影响对高风险用例的判断。对于明显恶意的生成式人工智能用例,威胁可以被理解为属于数字安全、物理安全和政治安全三类之一。4先岑十*#通过降低所需的专业知识程度生成式人工皆能可以帮助技襦力较差的用户尝个人现在可以形成的个性化关系生成式人工智能可能是试新颖的网络攻击技术并迭代地提人工智能聊天机器人的出现,吾盼睦政治力至倍增器高其复杂性。在于它们的持续可用和无限的耐心,虚假信息。这可能会改变激进彳郎蓝图的累积效应然而仍然存在一个生成文本、图像、酶晤蟒影响将超过其中任何一项不太确定的是是否这一过程中明显存在人为因素,当前漳生成人

6、工智能不太可捱很快豆制这些方式可以有生成式人工智能将实现全新期,通过提高法学预土的可用性可类型的网络攻击即使靠性和成本效益可以显着扩大规是最好的攻击者以前也不会这样做明确生成式人工智能可能增强恐怖模做附更令人印象深刻的故事讲分子企业的哪些阶段非常重述和个性化定制的活动,已经意识到最国要对于某些群体来说生个性化可以达到新的令人信服的水6在家重大长期关切成式人工智能可能更有助于美化选举前的几小时或几天内,簸和确定安全视角建准和欺诈而不是激进化武器说明选举结果将具有挑战性。抹黑恶意人工智爱官用信息手术监视监视和地缘政治分裂诈骗者将受益匪浅公开的一代很大程度上来自生成式人工智可以到达但很难找到生成式人

7、工智能可以在促进全球技术扩能。定性的生成式人工智能信息减少了散方面发挥重要作用该技术骚可以协助欺诈者与开发和执行关键信息的分离程度看起来更专业针对性更强鱼叉式网络钓鱼,专制标准和增加潜在受害者的复原力负担腿量上讲,自主代理框架的发展可以实现大规模欺诈自动化尝试,语音克隆领域的改进是欺诈背景下特别令人关注的领域.儿童性虐待材料攻击计划如果WebAPI允许将大型预训练模型连接到物理系统,从而1浒物理系统采取直接操作贝这种风险会加剧世界醴瞰姓谈獭癖机器人到合成致命材料存在重大的技术飞跃湖I了初耐工酬而氐崩搀域的实用性演员值帮助凳试强制执行单一版本历史的真相未来的真相几代人。民主国家可能更容易受到剥削

8、的创作特点生成式人工智能系统比独裁政权更重要。这强调需要了解文化和生成人工智彘使用的行为方面世界人工智能生成的CSAM的扩散是执法机构的一个重大担忧区分算实和僮图螂难度将继续增加并带来漏网漏报的挑战与Itt疮时扰本儿童的图像时存在误报冈险从而将稀缺资源从这些儿童身上转移开来谁有。尽管生成式人工智能在国家安全风险极高的情况下并不可靠,但它瞰为国!卫安全和执法机构提供了各种机会。在情报分析背景下,生成式人工智能的作用最好理解为提高个人生产力。使用生成式人工智能作为情报周期的方向、收集处理和传播阶段的认知副驾驶,可以缓解分析师在事实贫乏、意见丰富”的环境中所面临的传统挑战。第毗在成熟和熟悉的早期阶段

9、涉及频繁人工验证的仔细部署至关重要。自主代理能够感知环境做出决策并在无需人工t预的情况下采取行动的人造实体可能会成为人工智能领域的一股加速力量。情报和安全环境因为它们能够不用其他数据源进行额外验证。理论上但物1队可用于快速处理X量用魏据提供初步风险评估,并生成假设供人类分析师进一步探索。然而在底层法学硕士能懒供可靠（一致正确和安全且准确的响应之前,代理将面临提供不可獭喊不三果的风险。应对这好威的关键缓解措施是问责制、透明度以及对代理采取的行动和系统执行的推理的人工监督。为了应对上述复杂的形势,政府必须制定具有三个主要目标的政策十预措施：提高对生成人工智能系统的可见性和理解；推广最佳实践;并建立

10、激励措帆执行监管。建立政府和相关第三方参与者的信号和报告机制以及最高风险环境中的红线（例如关键国家基础设施内的决策是实现这些目标的重要方面。可解释性社会技术的抢占高风险自动添加标签或评估能力的快速提升可以挑战无形的与人工智能相关要了解惠思是上下文水印到检测工具对国家安全的全方位政策制定者对下一次在哪里人工智能生成特别强调披露何时使影!向AZ蘸颗评游戏规则变化准备不生成式人工智能内容是一个用生成式人工智估必须超越任何人的足不应该是可能的能井就适当使用和警能力用过的遗嵯技术的告发布明确的指导创新防止解决方案最近领先的情况生成式人工智个人模型，A人工智能开哪里的能的挑战多层,发者技术已启用社会技术的

11、承诺可以采取虚假信息*系统方法避免释放不可逆转的然而滥用更好的评价是型号不带行动担忧结果将是需要之前的测试由没有坚持其易受故意攻相互依赖的水6了解如何政府机构但好直接人类击的弱点人际互动过程必须公开透明监督或授权。系统提供的可解释和系统因素相互作用篡改和恶意行为者的性和个人解稀人工智能力能输出的能力技术的生成模型的组成部分足以确保公众对其完全绕过它来放大不同类型的风险的信任结论本报告的撰写恰逢2023年11月举行的英国人工智能安全峰会，同时宣布成立一个由政府资助的新人工智能安全研究所,用于对最先进的人工智能模型进行安全测试。未来几个月对于确定新的人工智育跛全研究所的作用和范围以及英国更广泛地管

12、理新兴人工智能风险的方法至关重要。在国际层面英国可以采取两项空跖动来缩小治理模式之间现有的差距:促进共享评估工g月确目标;渤国际监管专业知识和能力做出贡献。新成立的人工智能安全研究所的宣布是这方面的积极一步诵明须在计算、数据和人员这三个核心领域取得飞跃才能在这一努力中发挥有意义的领导作用。对值得信赖的法学硕士的研究本质上需要来自不同学科的专家,包括语言学计算机科学、认知心理学、网络安全、和政策。最后实现这些全球治理目标需要最低水6的外交参与这确保人工智除快速采用不会取代人工智能安全研究。希望在人工智能安全方面发挥领导作用的国家必须避免让对落后对手的恐惧通过高风险应用推动逐底竞争,从而破坏这项积

13、极的工作。建议人工智能系统评估- 借助人工智能安全峰会的积极势头,我们以立BiJ采取行动新的人工智能安全研究所应采取的步骤来开发世界领先的人工智能评估生态系统：O优先考虑采用多层次的社会技术方法进行系统评估以便除了治理和应用程序之外还可以仔细审查新的系统特征。O为生成式人工智能模型和系统卡创建集中寄存器,它允许跨部门的决策者审查系统细节并就其风险偏好和对设想用例的适用性做出明智的判断。情报分析- 如果英国国家安全部门要部署生成式人工智能社区中,这些组织必须确保用户界面的设计包含有关输出的准确性和可靠性的明确警告从而最大限度地减少与过度信任或过度依赖相关的风险。- 此外,应详细考虑在国家安全背景

14、下使用法学硕士可能如何影响保证和法律合规性。法学硕士的规堤杯透明性意味着从其中清除信息可能比现有数据库更具挑战性将研究资源瞄准开发机器遗忘”等技术可能有助于解决这一挑战。自主代理- 法学硕士增强型基于代理的系统被委托执行自主操作行动应遵守一定的要求。英国国家安全界必须确保这些要求在内部得到满足并应通过行业合作伙伴和值得信赖的开源社区网络来鼓励这些部门同样如此：。遵守开放全球应用程序安全项目（OWASP）等框架的设计注意事项,以徵里过度自治T的风险。这些使用中必须包含人机交互案例0记录代理人采取的行动和做出的决定。中介架构不得掩盖或破坏源自法学硕士的可解释性的任何潜在方面。0记录基于代理的系统在最坏情况下可以做什么。0在调试、开发和部署的每个阶段显示与使用1.1.M生成的输出相关的警告和注意事项。网络安全和培训-国家网络安全中心和内阁办公室幽淀政府安