TISC0028-2023人工智能模型风险管理能力成熟度模型.docx

《TISC0028-2023人工智能模型风险管理能力成熟度模型.docx》由会员分享，可在线阅读，更多相关《TISC0028-2023人工智能模型风险管理能力成熟度模型.docx（32页珍藏版）》请在优知文库上搜索。

1、ICS35.020CCSLOl团体标准T/ISC00282023人工智能模型风险管理能力成熟度模型Capabilitymaturitymodelforriskmanagementofartificialintelligencemodel（发布稿）2023 -09 -01 实施2023-06-12发布中国互联网协会前言II引言III1范围12规范性引用文件13术语和定义13.1 13.2 13.3 13.4 23.5 24人工智能模型风险管理24.1 风险管理目标24.2 风险管理框架25能力成熟度模型35.1 能力成熟度等级35.2 风险管理能力5参考文献27本文件按照GB/T1.12020标

2、准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。本文件由中国互联网协会归口。本文件主要起草单位：中国信息通信研窕院、蚂蚁科技集团股份有限公司、北京京东世纪贸易有限公司、度小满（北京）科技有限公司、同盾科技有限公司、易车公司、中国联合网络通信集团有限公司、百度在线网络技术（北京）有限公司、北京字节跳动科技有限公司、西安恩耐博人工智能科技有限公司、北京快手科技有限公司、三六零安全科技股份有限公司、腾讯云计算（北京）有限责任公司、北京京东科技有限公司、北京中科闻歌科技股份有限公司、北京小桔科技有限公司、杭州安恒技术股份有限公司、OPPo广东移动通信有限公司、北京榕树科技有限公司等。本文件

3、主要起草人：杨玲玲、陈杨、王阳、梁叶、应叶、董纪伟、小宇、梅亮、彭晋、林冠辰、薛峰、周杨、张天翼、杨舟、彭鸿涛、赵磊、唐佳伟、于跃、李鹏、魏芳、于城、张立彤、赵皓星、周少雄、姚一楠、王永霞、王春兴、何佳、李剑锋、梁伟、王璋盛、杨大伟、王蓬华等。近年来，人工智能技术的持续发展为企.业的生产运营和管理模式带来了巨大的变革，已成为带动经济增长的重要引擎。与此同时出现了新的技术风险、伦理风险等威胁和挑战，如模型数据来源、准确性和及时度不当产生的数据风险，模型缺陷造成的决策失衡和结果偏差，模型安全和监控缺失造成的失控事件，以及模型使用不当造成的伦理挑战等。本文件针对组织在开发、实施和使用人工智能模型过程

4、中面临的主要风险挑战，根据法律法规和行业特性，明确人工智能模型风险管理的原则、目标，厘清主体责任，建立覆盖围绕人工智能模型的风险管理能力成熟度模型，规范模型在需求分析、数据准备、模型构建、检验验证、模型部署、持续验证、模型修正、模型下线等环节中的风险管理活动，从策略制度、组织架构、资源配置、技术手段等方面提供保障，提出切实有效的管理措施，快速灵活应对模型风险，确保组织健康有序发展，推动科技向善。对本文件中的具体事项，法律法规另有规定的，需遵照其规定执行。人工智能模型风险管理能力成熟度模型1范围本文件提供了组织在开展人工智能模型需求分析、数据准备、模型构建、检验验证、模型部署、运行监控、持续验证

5、、模型修正、模型下线等关键活动过程中进行风险管理的建议。本文件适用于管理、研发、供应、使用人工智能模型的相关机构。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T250692022信息安全技术术语GB/T243532022风险管理指南（ISO310002018,IDT）3术语和定义GB/T250692022和GB/T243532022界定的以及下列术语和定义适用于本文件。3.1模型modeI系统、实体、现象或过程的物理、数学或其他逻辑表

6、示。来源：ISO/IEC18023-1:2006,3.1.113.2人工智能模型artificialintelIigencemodel使用一种或多种人工智能技术和方法构建的模型（3.1）。注：人工智能模型可以针对一组给定的人类定义的目标生成输出，例如内容、预测、建议或影响他们互动环境的决策。3.3风险risk不确定性对目标的影响。注1：影响是指偏离预期，偏离可以是正面的和/或负面的，可能带来机会和威胁。注2：目标可有不同维度和类型，可应用在不同层级。注3：通常风险可以用风险源、潜在事件及其后果和可能性来描述。来源：GB/T243532022,3.13.4模型风险modeIrisk基于不正确的模

7、型（3.1）、乱用模型输出和报告进行决策可能产生的风险（3.3）O3.5能力成熟度模型capabiIitymaturitymodel一种模型，该模型包含一个或多个学科的有效过程的基本要素，并描述了从临时的、不成熟的过程到具有改进的质量和有效性的、受到训练的、成熟的过程的进化改进路径。来源：ISO/IEC/IEEE24765:2017,3.4724人工智能模型风险管理4.1 风险管理目标a）安全可靠：应具备与所面临的安全风险相匹配的安全能力，并采取足够的管理措施和技术手段，保障人工智能模型的完整性和鲁棒性。b）透明可解释：应能够解释人工智能模型如何工作以及如何达到特定的预测，或如何在决策过程中发

8、挥作用，建立理解和信任。c）公平公正：应保障利益相关者的权益，促进机会均等。d）尊重隐私：应尊重和保护个人隐私，充分保障个人的知情权和选择权。e）可监督、可问责、可审计：应保障人工智能模型生命周期中利益相关方职责清晰，并具备足够的监督、控制能力，留存足够的记录以支持审计和取证活动。4.2 风险管理框架图1人工智能模型风险管理框架人工智能模型风险管理框架包括以下模块：a）策略：指组织为实现人工智能模型风险管理而采取的策略，涵盖规划、执行及控制过程，主要关注组织策略方针和管理制度。b）组织：指管理层对人工智能模型风险管理的职责，确保组织业务战略和重大策略的一致性，评估和控制人工智能模型风险管理效率

9、和效果，确定组织的风险偏好等。c）模型生命周期：指对模型全生命周期进行风险管理，涵盖需求分析、数据准备、模型构建、检验验证、模型部署、运行监控、持续验证、模型修正、模型下线九个关键环节。d）应急响应：指对开发、实施和使用人工智能模型过程中的风险事件进行及时响应、跟踪和处置，及时消减风险事件的影响，保证业务连续性。e）决策透明度：指对人工智能模型如何工作和决策的过程进行解释。f）交互与沟通：指与监管机构、合作方、用户等相关方建立交互沟通机制，以及采取措施保障利益相关方的权益。g）外部合作：指在开发、实施和使用人工智能模型的过程中涉及与合作伙伴、第三方服务商等外部机构交互，对由于外部因素导致的业务

10、中断、结果不可靠、责任不清、安全事件等风险进行管理。h）专利保护：指对开发、实施和使用人工智能模型可能涉及的知识产权侵权风险进行管理，以及对自主知识产权进行保护。i）环境保护与社会责任：指在开发、实施和使用人工智能模型的过程中对环境和社会产生的影响，并采取相应解决方案。j）管理层监控和审计：指人工智能模型开发、实施和使用相关部门对现有制度流程的自我监控评估和独立审计。5能力成熟度模型5.1能力成熟度等级能力成熟度等级特征详细说明第一级（基础级）基本运行，各部门/业务线/项目为了经营管理正常运行，对人工智能模型风险活动进行自发管理。各部门/业务线/项目为了经营管理正常运行，对该项活动进行自发管理

11、。（1）管理范围仅限于项目/部门/业务线，由各业务条线/各项目/部门各自管理。（2）有基本的管理活动（部分环节、零散的），但一般依赖于约定俗成、个人经验。管理活动不一定可重复。（3）管理要求可能落于纸而，但缺少规范化的、正式发布的、组织级的制度。（4）管理活动以符合法律要求、避免影响业务运营的重大风险为主目标。（5）一般情况下没有专岗人员，由其他职能的人员自发进行。（6）基于风险事件的被动应对，仅基于个人经验和临时反应。（7）没有系统工具支持管理活动。第二级（增强级）安全合规，在第一级的基础上，各部门/业务线/项目为了人工智能模型风险管理活动满足外部行业监管或自身增强性的风险管理要求。在第一级

12、的基础上，各部门/业务线/项目为了该项活动满足外部行业监管或自身增强性的风险管理要求。（1）管理范围仅限于项目/部门/业务线，各业务条线/各项目/部门各自管理，或通过其他现有的管理体系和机制来实施人工智能模型风险管理，并非制定了专门针对人工智能模型风险管理的机制。（2）有较成熟的管理活动，但主要以符合行业监管要求和组织自身提出的增强性风险管理要求为目标。（3）管理活动己在项目/部门/业务线内形成规范、流程。（4）一般情况下没有专岗人员，但已明确其他职能或兼岗人员的职责。（5）基于风险事件的被动应对，但具备一定的事件响应能力。（6）使用简单的工具支持管理活动。第三级（优秀级）规范有序，在第二级的

13、基础上，实现组织级、标准化的管理活动，管理活动覆盖关健环节，以达到行业优秀水平为目标。在第二级的基础上，实现组织级、标准化的管理活动，达到行业优秀水平。（1）组织范围内实现统一管理。（2）建立了标准化的管理制度和流程，且管理质量可控，能够对关键的、常见的人工智能风险进行应对。（3）管理活动覆盖关键环节，以达到行业优秀水平为目标。（4）一般情况下设置了专岗人员。（5）主动进行风险管理，可以对已知风险进行识别、评估和处置，但管理手段较为单一。（6）使用系统工具支撑关键的管理活动。（7）参与国家、行业相关标准制定。第四级（卓越级）全面高效，在第三级的基础上，实现高效的、平衡的管理，管理活动具有全面性

14、，以达到业界最佳实践为目标，且能被充分借鉴。在第三级的基础上，实现高效的、平衡的管理，达到业界领先水平。（1）较第三级管理效率大幅提升，风险管理与运营效率、人工智能技术应用与相关方利益均达到较好的平衡。（2）管理活动具有全面性，以达到.业界最佳实践为目标，且能被充分借鉴。（3）使用系统工具实现全面的管理自动化。（4）建立指标体系，实现可量化的管理。（5）主动进行风险管理，可以对已知风险进行识别、评估和处置，并预先建立了对可预见风险的应对措施。（6）风险管理活动能够持续改进和优化。（7）牵头/主导国家、行业相关标准制定，或参与国际相关标准制定。（8）在相应领域部署了研发资源，探索、尝试该领域前沿

15、技术和理念。第五级（引领级）前瞻引领，在第四级的基础上，实现智能化的管理，能够应对未知风险，前沿性地探索，引领行业。在第四级的基础上，实现智能化的管理，前沿性地探索，引领行业。（I）使用系统工具实现自洽的智能化管理。（2）实现实时、动态的管理。（3）实现前瞻性的风险管理部署，可以对未知风险进行识别，并预先建立了相应的应对措施。（4）将人工智能风险管理作为企业主要战略或核心竞争力，持续探索、尝试该领域前沿技术和理念并具备引领性和话语权。（5）牵头/主导国际相关标准制定。5.2风险管理能力5.2.1 策略5.2.1.1 第一级本级能力如下：a）具备基本的人工智能模型风险管理活动，管理活动可依赖于约定俗成、个人经验。b）人工智能模型风险管理要求可落于纸面，但可能缺少规范化的、正式发布的、组织级的制度。5.2.1.2 第二级本级能力如下：a）前一级的全部内容。b）组织高级管理层分配适当的资源以支持人工智能模型风险管理工作。c）管理活动能够通过其他现有的管理体系和机制来保障实施。d）业务团队制定人