2024工智能 计算设备调度与协同第第1部分：虚拟化与调度.docx

《2024工智能 计算设备调度与协同第第1部分：虚拟化与调度.docx》由会员分享，可在线阅读，更多相关《2024工智能 计算设备调度与协同第第1部分：虚拟化与调度.docx（30页珍藏版）》请在优知文库上搜索。

1、人工智能计算设备调度与协同第1部分：虚拟化与调度前言II1苑困12烷范性引用文件13术语和定义14缩略唱35概述36计算设备虚拟化技术要求46.1 概述46.2 基本要求46.3 扩展要求77计算资源调度技术要求107.1 概述107.2 功能要求117.3 性能优化要求127.4 调度策略要求127.5 接11要求128运维监控技术要求148.1 A1.加速卡赛控H8.2 计算实例监控1.18.3 AI任务赛控148.4 日志监控159测试方法169.1 虚抵化测试169.2 调度测试19附录A（资料性）典型处理器的虚拟化参考架构22参考文献25人工智能计算设备调度与协同第1部分：虚拟化与调

2、度1范困本文件给出了人工智能计和设备虚拟化与调度的架构，规定了技术要求，描述了测试方法。本文件适用于人工智能计算设备虚拟化与调度的系统设计、研发和测试.2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款.其中，注日期的引用文件，仅该日期对应的版本适用于本文件：不注日期的引用文件,其最新版本（包括所有的修改的）适用于本文件。GB/TAAAAA人工智能服务渊系统性能测试规范3术语和定义GBa418672022界定的以及下列术语和定义适用于本文件.3.1人工智能计算单元artificia1.inte1.1.igencecomputingunit执行人工智能计算任务所必要的

3、部件的最小集合.注：人工智能计算单元-IR豺装在人工W能加速器或加速卜中.3.2人工智能加速处理器artificia1.inte1.1.igenceacce1.eratingprocessor人工智能加速芯片artificia1.inte1.Iigenceacce1.eratingchip具备适配人工智能算法的运算微架构，Ife载完成人工智能应用运豫处理的集成电跖元件.3.3人工智能加速卡artificia1.inte1.1.igenceacce1.eratingcard专为人工智能计算设计、符合人工智能服务器硬件接口的扩展加速改备.注：人工智能加速卡按功籍可分为人工田能训练加速卡，人工科倭持

4、理加速I：等.3.4人工智能计算实例artificia1.inte1.Iigencecomputinginstance执行人工智能计算任务的虚拟化对象。3.5虚拟化virtua1.ization一种资源衣示形式,我示与潜在的物理资源解设.来源:ISO/IEC17826:2022.3.553.6异构资源池heterogeneousresourcepoo1.一种由不同架构的人工智能计算资源集合形成的抽象实体,货随池内的人工智能计算资源使场被管理诩度，以满足不同人工智能计灯任务的需求.注Is片构货海泡提供一种可仲缩计。架构.有利于合理分配计算货源,为不同运行环境（例如云、9U%移动谀.物联网）的人工

5、智能应用系统的开发和翁:冲提供计口倭力、存储.济宽和妞时保障。注2：人工智傥计就货源包括中央处理单元（CPs、图形处理通元（C1.t神经网络处理单元（Np（!）、现场侔程道辑门阳列（卬G）.数字信号处理潺（DSP）、专用奥成电路（AS1.C）等3.7计算能力computingcapabiIity产品或系统参数能够满足计算需求的朵夫程度，注1：参数Hi能处理的作业数M,僮展外的A4大用户数M成分吞吐Ift笄.注2：标称计傥力是特定产品或系统在通位时间内理论上链完成的计方操作次数.3.8神经网络处理器nouraI-networkprocessingunit一种专门针对神经网络计算进行特殊优化设计的

6、集成电路元件.注：该类双成电路元件报长处理睨知、图像、谙音英多媒体数糖.3.9人工智能计算任务artificia1.inte1.1.igencecomputingtask为取得特定人工智能计算目标所需的活动,注：本文件中，在不至于误解的语境中，人工智能计算任务-殷报推理任务或训故任务.来源：ISO/1EC25062:2006,4.9,有脩改3.10性能performance人工智使加速卡在运行计算任务时.可被测证的特性,在评估人工智能任务的性能时,一般采用赤.率特性。注1：性能包含定性及定量的恃征，注2,性能些干个或多个&Ikfttu,充0.答吐*.运行时间以及速率.等）的测场或计K获褥.以表

7、征在某机JS中运行的某技术过程的行为、特性以及效率.来源：IS0IEC20000.10:2018,3.1.16,有修改J3.11人工智能计算集群artificia1.inte1.1.igencec1.uster遵循统一控制的，人工智能计尊功能单元的集合.注1：人工智能计0功能单元可包含人工智能加速器,人工智能服分器.人工智能切速模组等注2三当由人工智能忸务器沉成时.人工科能城府可称为人工皆傥服务；K集JT节点no加由网络连接的能完成特定人工智能计算任务的物理或逻辑人J1.智能计算设i【来源：ISO/1EC14575:2000,3.2.27,有修改3.13调度scheduing控制特定任务的整体

8、或部分的执行场所利时间的过程.注：在本文件中场所一股指人工智能计5单元.来源：IS()/1EC10164.15:2002.3.7.4,有修改3.14调度器SChedU1.er一种在系统中完成调度的细件。注：在本文件中,调度器用于面向不同的计算需求分配人I：智能计口资源.3.15隔离iso1.ation计算实例间的计算和数据相互不影响和不可访问.注I弊力隔而指的址计算实例之间的计算徒力不Ti.相影响.来源:ISO/IECTS25052:1:2022,3.1.5.3,有修改4缩珞语下列缩略语适用于本文件。AIs人工智能(ArtifiCia1.Inte1.1.igence)BAR：基址寄存器(Bas

9、eAddressRegister)CPU：中央处理器(CenterProcessingUnits)DDR：双倍速率传输率(DOUbIeDataRate)DMA：H接存储器访问(DireC1.YeBOryACCeSS)FPCAs现场可编程逻辑门阵列GDDR：图形双倍速率传输行储器(GraphicsDDRSDRAM)GPU：图形处理擀(GraphicsProcessingUnits)HR*高带宽存储器(HighBandwidthMenwry)NP1.：神经网络处理器(Neura!-networkProcessingUnits)PCIE:外设部件互联高速通道(Periphera1.Component

10、InterconnectExpress)QEMV；快速模拟器(QuickEMU1.ator)QoS：服务质fit(Qua1.ityofService)USB：通用申行总(Universa1.Seria1.Bus)VnOr虚拟功能输入/输出(Virtua1.FunctionInputOutput)W:虚拟机(Virtua1.Machine)VMX：虚拟机扩展(Virtua1.MachineExtension)A【计算设备虚拟化与调度的架构见图I.R【计算虚拟化为A1.物理计算资就提供特定的衣示形式.虚拟化方案包含对基于CPU、GPtUNPU,FPGA等物理AI加速卡的虚拟化.（多种虚拟化方案通过

11、统一的接入加件形成（界构）资源池，以-效的方式使用A1.物理计兑资源,调度器根据A1.fr:务和资源池的情况,选择若干虚拟化的A1.计免实例.分配并执行特定任务.运维监控实现对A1.计算实例、A1.物理计算资源注1；或畿框部分不同于本支件标准化的总嘀“注2：FpGA的自奴化方案.FPGA与（TU的混i架构.注3：1个A1.应用可被分解为若干个A1.计算任务.下发给词收?8,图1A1.计算设备虚拟化与调度架构6计算设备虚拟化技术要求6.1 叔述计尊设备虚拟化技术是一种计算资源管理的方法,切分、冏间或整合含有各类型加速渊的不同A1.加速卡，使其执行AI计算任务，以提高计算资源利用率.注：本文件现定

12、计克改备或拟化技术不对网络、存储等其也卷理费源提出要求，但对i1.算资源与其他侥俎的协同对接提出要求.6.2 基本要求6.3 2.1A1.加速卡虚拟化AI加速卡的虚拟化，包含以下要求：a）应支持单个A1.加速卡址拟化为多个计算实例；b）宜支持多个A1.加速卡虚拟成单个计算实例：c）计算实例应能在虚拟机或容器中执行计算任务:d）宜支持单个A1.加速卡的算力仍离：C）计萼实例应能被计算设备谢用。虚拟化组件或系统.宜实现下列对计算实例的监控功能,包括：a）资源（含计算资源）利用率监测：b）尊子执行时延统计：c）计算实例带宽利用率监测：d）计算实例的性能波动（见9.1.4.4测:e）虚拟化后,A1.加

13、速卡的计算能力损耗统计：f）计算实例运行时长统计，6.2.3隔离性虚拟化组件或系统的隔离性包含如下要求；a）故障隔声,应符合以下要求：1）计算实例内的单点故障信息只上报其所属的虚拟机或容器及虚拟化管理系统：2）支持多个计算实例运行互不干扰；3）提供调用、返回特定计算实例的业务故障：-1）支持计算实例获知其所依赖物理设怖的单点故障，b）性能隔离,即特定用户使用计算资源的性能.不被并发执行的其他用户的任务影响.而出现下降的情况：c）安全隔围,技能实现下列功能.包含但不限于：1）防止仿日：2）防止篡改；3）防止信息泄露：4）防止拒绝服务攻击：5）防止权限提升；6）防止抵赖，6.24重配置虚拟化组件或

14、系统，实现在多用户和动态任务情况下的计算资源由配词，以提Isi系统整体性能，符合以下要求：a）应为单个AI任务的独立运行，实现QoS服务历量机制：b）应为多个A1.任务的同时运行,实现资源获得公平性机制：注；公平性指的是相向优先级的不向用户和程序时F计资谅”为同样的使用权.O应为AIfE务的动态负载特性或资源可变特性要求,实现资源双用机制（如分时或用或分区更用方宜能与下列机制现过程配合使用,包含但不限干：1）高可用集群：2）倒战均衡，即分配特定的业务（网络服务、网络流量等）给多台网络设备（包括股务器、防火墙等或多条链路：3）内存复用,方式包括内存气泡、内存置换、内存共享等：4）CPU、内存、A

15、I加速处理器等的扩容。e）宜支持吉iAI计算加速卡间互联信息.6.25资源抽象虚拟化与调度系统的资源抽象，符合以下要求：a）计算实例应支持执行以卜计算，包括但不仅限于：D完整的卷积计算：2）完整的向JIU十算：3）完整的标注计算：4）数据传输、交换和格式转换.b）计并实例应包含以下部件并作为调暧依据：D计算部件：2）存储部件，如慑存、内存等；3）数据通信部件.C）1个计算实例可对应单台或多台A1.计算设备的全部物理资源或部分物理资源：1）当虚拟出多个计算实例时，单A1.加速K所含的硬件资源应能被映射为多个A1.加速乱包含对处埋器、内存等费源的切分,映射为不同的谀备并受饺件宽源总数的限制：。）事件、标识和任务及相关机制以软件