面向人工智能的数据治理实践指南（1.0）.docx

《面向人工智能的数据治理实践指南（1.0）.docx》由会员分享，可在线阅读，更多相关《面向人工智能的数据治理实践指南（1.0）.docx（40页珍藏版）》请在优知文库上搜索。

1、一、人工笆能数据治理概念界定（一）数据治理的发展1 .数据治理的发展数据治理的概念起源于企业管理领域，关于数据治理的定义研究众多，但由于业界权威研究机构、研究学者以及国内外标准组织研究视角不同，尚未形成较为统一的认知。国际数据治理研究所（DG1.）提出数据治理的定义为“一个根据既定模型针对信息相关过程的决策权和职责分配体系梅宏院士在数据治理之论一书中提出数据治理的核心内容包括以释放数据价值为目标、以数据资产地位确立为基础、以数据管理体制为核心、以数据共享开放利用为重点、以数据安全与隐私保护为底线。国际数据管理协会（DAMA）提出的数据治理概念为“在管理数据资产过程中行使权力和管控活动，包括计划

2、、监控和实施。”此外，在国际标准中，最早出现的数据治理（daiagOVCrnaneC）术语定义源自IS0/TR14872:2019Hea1.thinformaticsIdentificationofmedicina1.productsCoreprincip1.esformaintenanceOfidcniificrsandterms,将其定义为“以管理信息的质量、一致性、可用性、安全性和可用性为重点的过程”，并强调该过程与数据所有权和管理的概念密切。从上述定义的内容来看主要对信息质量的管理，而后有国际标准从IT治理、数据资产管理等视角定义数据治理，逐渐凸显数据治理应具有统筹协调、权责分配、资源

3、调度等核心能力，涉及数据质量、数据安全、数据合规等关键治理内容。在国家标准中，最早出现的数据治理术语定义源自GBT35295-2017信息技术大数据术语，将其定义为“对数据进行处置、格式化和规范化的过程。“，从定义内容来看主要是从数据管理视角来理解数据治理，而后有国家标准从数据管理权利、管控活动等视角定义数据治理，逐渐凸显数据治理具有过程性、集合性以及统筹与协调管控的特征。结合通用场景下数据治理定义的特征来看，数据治理的核心治理内容主要围绕数据质量、数据安全、数据合规等内容展开，强调要围绕治理内容进行统筹协调、权责分配、资源调度等。2 .数据治理的三个阶段第一阶段，20世纪80年代，随着数据库

4、技术的发展，企业开始意识到数据的重要性。但当时数据管理主要依靠数据库管理系统(DBMS),直到1988年由麻省理工学院的两位教授启动了全面数据质量管理计划(TDQM),可以认为是数据治理最初的雏形。第二阶段，伴随着数据仓库的建设，主数据管理与商务智能平台的实施，国内也逐步开始接受并利用数据治理的概念进行推广实践。第三阶段，21世纪20年代，以大模型为代表的生成式模型成为推动人工智能发展的重要驱动力。大模型的兴起对数据治理提出了新的挑战和需求。B-mK-DBMS01第二舱段EDW02m.CMbM(际Bmm国年IOa务手来论文OMRg然f中开触观一IttCtt的却M*g1.0AMA(KXVttKU

5、1.911Qg.OMUMOMKWITK-ttff9S(10)发布.mutOR和MIewrft6.43UOfnIEttasr-三(10)xWHinaAG1.03MAxmumax三Mrs*rrtMtnM.*B,TJtiAIMBfiOJtMm.对个於em产事WMM.Mn隼.WiAIWWAKW三OW以JB图为中b时ttKBtt!f出手.3 .大模型时代数据治理的难题随着人工智能技术的飞速发展，大模型已成为推动A1.应用创新的重要驱动力。这些模型依赖于海量的数据、强大的算力以及复杂的算法参数来支撑其庞大的智能体系。在这一过程中，数据可谓是大模型的“灵魂”，塑造了其独特的“个性”。大模型的智能程度与“个性

6、”表现，促使人类社会生产力迈上新的台阶，同时也带来了更大的挑战与危险。1）数据“高量低质”数据是人工智能技术的基石，是大模型训练和推断的原材料已成为共识。然而，数据的数量和质量并不总是成正比。在来源上，模型往往依赖于从互联网、社交媒体和公开数据库中采集的数据进行训练，这些数据的来源和质量无法得到有效控制。在管理上，我们面对多模态、非结构化数据缺乏理论与技术的支操来客观评价数据质量的高低。这些问题需要数据治理来解决，但传统的数据治理理论与实践更多的适配于面向B1.时代的结构化数据，在人工智能所需要的结构化、半结构化、多模态数据上较为空白。为了应对这些挑战，开发出更负责任、更可控的人工智能应用，面

7、向人工智能的数据治理(DG4AI,DataGovernanceforArtificia1.Inte1.1.igence)概念应运而生，它旨在通过创新的数据管理策略和技术，解决A1.发展中的痛点问题。2)安全与隐私泄露频发随着大模型对数据的依赖性日益增强，数据安全和隐私保护已成为核心问题.在大模型的全链路研发、管理和应用过程中，其各个阶段都存在着数据安全与隐私的问题和风险，包括但不限于数据的过度采集、样本的偏差、数据的投毒等情况，存在危害个人、企业甚至社会的安全与利益的巨大风险。3)偏见与歧视随处可见在科技E速发展的背景下，人工智能伦理和道德的关注程度及应对措施尚未完全跟上技术的步伐。自然语言处

8、理技术的滥用案例日益增多。其中包括压制不同意见、侵犯隐私与匿名性等。随着人工智能技术驱动的应用逐步走向产业化，潜在的道德伦理问题成为备受关注的焦点。这些伦理问题可能源于系统意外产生，也可能是恶意行为者蓄意开发。常见的负面后果包括因人口统计偏见而导致的不公平问题、面向不同用户群体的服务性能不平等、对话者需求的错误识别，以及有害内容与刻板印象的传播等。此外，许多应用只注重信息内容，对文本作者及其信息的社会意义缺乏足够的意识与关注。DG4AI的提出，是对现有数据治理体系的重要补充。它强调了数据治理在A1.研发全生命周期中的重要性，并指出了实现高质量A1.应用的关键路径。这一概念的实践，需要跨学科的合

9、作、政策的支持以及技术的创新，以确保A1.技术的健康发展，并最大化其对人类社会的积极影响。（二）面向人工智能的数据治理的定义对于面向人工智能的数据治理定义建立于对人工智能和数据治理的共同理解之上，因此在这里我们先对几个关键概念进行明确：人工智能：人工智能（A1.,Artificia1.Inte1.1.igence）是一个与认知科学/心理学、哲学、语言学和数学等学科进行了知识融合的计算机科学，当前由于对于智能的定义存在困难，在学界并未有一个统一的定义，但是从商业的角度来看，A1.意味着使计算机能够执行各种高级功能（包括查看、理解和翻译口语和书面语言、分析数据、提出建议等能力），达到帮助替代或超越

10、人类的工作的能力。数据治理：根据IBM、标准要求、数据治理协会等研究（见附录-）综合来看，数据治理主要是从组织层面对数据进行管理。其目的在于确保数据的质量安全性。可指代为企业数据价值化开展的一系列具体性工作，也可指代一系列数据管理活动的集合。由此，我们可以认为面向人工智能的数据治理（DG4AI,DataGovernancefor/Xrtificia1.Inte1.1.igence）是指在人工智能应用中管理和控制数据的过程与实践，用以确保数据的质量、可竟性、安全性与合规性，数据能够被准确地用于训练和部署A1.模型，同时保护数据的隐私和安全。面向人工智能的数据治理()(4,DataGovernan

11、ceforArtificia1.Inte1.1.igence)指在人工W爱应用中越理和控制InK的过程与实用以确保依据的质量、可靠性.安全住与合规性，散据能弊根准地用于训练和SMIA1.模叟，同的保护取盛的饴口。仪和工Wtt1下依MtmsiZ森本的K化与三ffAJttMtStm9fiMftMXWffOEMm*XJWtt.MDBIaHMJI安全分新y4(三)面向人工智能开展数据治理的主要阶段与对象从组织层面开展数据治理工作方面来看，面向人工智能开展数据治理的工作，主要包含以卜四个阶段：1.顶层设计阶段：o治理目标：确立数据治理的总体框架和战略目标，确保数据治理与组织的整体战略相匹配。o工作篁点：

12、根据组织的业务现状、信息化现状、数据现状和A1.现状，设定组织中各机构和部门的职贲、权力的利益，定义符合组织战略目标的整体数据治理目标和可行的行动路径。2 .数据治理组织保障体系搭建阶段：O治理目标：确保面向A1.的数据治理得到必要的支持和资源，包括人力、算力、算法、数据、技术和管理等支持。O工作重点：分析领导层、管理层、执行层等利益相关方的需求，建立健全面向A1.数据治理的相关管理制度和标准，并基于数据治理所需的专项能力和业务价值目标构建支持面向A1.的数据治理体系。3 .数据治理工程建设阶段：o治理目标：基于数据战略目标，结合A1.数据治理的特点，制定并执行数据治理实施计划，确保数据治理能

13、够按照既定目标和流程进行。o工作重点：包括数据收集、数据预处理/清洗、特征工程、数据标注、数据划分、数据增强、模型训练、模型验证与测试、模型推理等实施步骤。4 .数据治理运营优化与A1.应用融合阶段o治理目标：提升A1.应用的规模化落地效果，实现数据治理与A1.应用的良性互动。进一步，形成数据治理与A1.应用相互促进的闭环，实现数据价值的最大化。o工作重点：通过数据治理提升A1.模型的拟合效果，同时利用A1.技术优化数据治理流程，形成良性闭环系统。从面向人工智能场景下所需的数据来看，大致可分为原始的多模态数据集、训练数据集、验证数据集、测试数据集和推理数据集。从面向人工智能场景的工程建设阶段来

14、看，可分为数据收集、数据预处理/清洗、特征工程、数据标注、数据划分、数据增强、模型训练、模型验证与测试、模型推理等九个阶段。对于人工智能训练和推理的阶段与数据治理对应关系如下：环MWXaaMIWMKU1.节Mara场注做黑含JUn1.XMKB三博餐、WS.f1.WS.1.1.ttwMnRf1.CCMMMMma1）数据收集阶段：此阶段治理时象包括：结构化数据、非结构化数据、半结构化数据、空间地理数据、时间序列数据等多种模态数据集。数据来源的选择和收集策略直接影响后续的数据质量。数据的有效性和代表性在此阶段就已开始形成。此阶段我们需要保障相关来源的数据量和多样性。2）数据预处理/清洗阶段：此阶段数

15、据治理对象是数据收集阶段所采集的多模态数据。此阶段对收集到的数据进行初步处理，去除无关信息，修正错误数据，处理缺失值、异常值、重复值等问题，确保数据质量。数据必须具备高度的质量和准确性，保证训练模型时使用的样本数据能够反映真实世界的情况。3）特征工程阶段，此阶段治理对象包括：原始数据集，中间数据和特征变量、标签数据集等。此阶段将原始数据转化为适合机器学习算法使用的特征表示，包括特征提取、特征选择、特征构造等。对于非结构化数据，可能需要进行特征提取，如文本分词、图像特征提取等。特征的选择、构造与转换过程决定了模型能否有效捕捉到数据中的有用信息，特征的质量直接影响模型的表现力和泛化能力。4）数据标注阶段：此阶段治理对象主要是标注数据集。对于监督学习任务，需要人工或半自动方式对数据进行标注。高质量的标注数据对于模型的学习至关重要。准确、致且全面的标注能显著提升模型训练效果。5）数据划分阶段：此阶段治理对象主要是训练集、验证集和测试集三类。本阶段将数据集划分为训练集、验证集和测试集，训练集用于训练模型。数据划分阶段的质量治理重点在于保障数据分布和数据F衡，合理地将数据划分为训练集、验证集和测