腾讯云TI平台的大模型精调解决方案-23页.docx

《腾讯云TI平台的大模型精调解决方案-23页.docx》由会员分享，可在线阅读，更多相关《腾讯云TI平台的大模型精调解决方案-23页.docx（30页珍藏版）》请在优知文库上搜索。

1、国0G国大模型落地痛点行业知识、模型训练稳定性、资源利用率、国产化适配TI大模型精调解决方案大模型精调全生命周期的方法论与全流程陪跑Tl精调的核心优势自研大模型、大规模预训练、自研加速、国产化适配案例分享大模型摘要;大模型问答（2）腾讯云智慧传媒.hIll需提高资源利用率需国产化适配分布式训练需要高效的资源调度管理系统，减少节点资源碎片提高调度成功率；支持虚拟GPU调度提高容器资源利用率响应国家政策，摆脱国外资源限制，需要从硬件服务器芯片、操作系统、模型等多个层面完成国产化适配大模型落地业务场景的痛点模型欠缺行业知识通用领域大模型百花齐放，但都不具备特定行业的独有知识，欠缺行业属性导致无法落地

2、实际业务大模型训练需耗费大量GPU资源且训练周期长，对训练平台的稳定性、故障隔离性、自动容错性等底座能力，以及断点续训能力考验极大客户专属大模型传媒行业大模型情调解决方案Tl-DataTrUt微据标注平台Tl-ONE训练平台太极Angel加速组件Tl-Matrix应用平台传媒大模型政务大模型文旅大模型金融大模型教育大段里高性能计算集群HCC1.-I.-向瞰据库高性能网络：自研星脉讨算网络架构11对大模型开发全生命周期的一体化方法论（2）腾讯云智慧传媒应用场景资源采购模型选型数据评估资源评估训练共建脱敏合规部署应用性能评测效果评测环境搭建服务开通知识挖泥+增强数据清洗+切块向量库建设+维护训练平

3、台搭建碰督训练有监督训练人工反馈强化学习训练框架加速模型注册模型发布推理框架加速推理务部署应用联调rrj:Tl精调的核心优势四大核心能力多轮对话知识增强逻辑推理内容创作创新大模型训练预训练超2万亿token语料优化预训练算法及策略改进注意力机制开发思维链新算法自研机器学习框架AngeIPTM训练框架相比业界主流框架提升1倍训练速度AngeIHCF推理框架推理速度相比业界主流框架提升1.3倍超千亿参数规模（蒸谣出百亿级模型）,全链路自主研发，从零训练自主创新信通院测评应用场景评测HUrn,nEva吩数模型开发共测试29个能力项综合评级级当前最高分模型能力共测试37个能力项综合评级级IIIIIIh

4、lhlHlCtmlMKUMmalAGT*三AOV三元GE755YCevaISUM当前最高分核心优势1一自研模型：行业大模型（2）腾讯云智慧传媒大规模通用数据无监督：数T文本有监督：数亿条数据通用,pT&SF行业大模型,；?SF大模型媒旅融疗传文金医大规模行业数据无监督：百G文本有监督：数百万条数据降低不同行业数据彼此干扰提升垂类任务性能应用层舆情助手写作助手营销助手访谈助手客服助手金融行业大模型医疗行业大模型文旅行业大模型大模型层基础大模型平台层自研行业大模型训隐支撑：11-ONE训练平台（2）腾讯云智慧传媒APl调用核l1.优势1自研模型：亍业大模型在有行业数据精调的情况下：行业大模型（10

5、亿参数）可以比通用大模型（千亿参数）用小得多的训练资源，训练后得到差不多性能的应用BaiCbuanZ78-8iOuan2138一1.hma270BB1.OOM1768新闻摘要7onum一BAiChUMa7B7787一Bai6uan213876871.hma2707088B100M17688288（2）腾讯云智慧传媒3.任务管理模型评估任力。任务臾田WVAmtcQPOOtocmV三11ftN目可见suporaw(s最快仅需5步即可完成大模型精调落地（2）腾讯云智慧传媒现点容移动蔽闻障主屏自故NodeTaskMangerTrainOperatorNode网络/系统等异常时：任翁管理自动重启训缴任免

6、恢发历史CheCkPOIn窗蝮训练节点/磁盘等突发故障时：,训练OPeratOr感知POd运行状态将异常Pod距新调度到耳他节点恢复训练任务云原生监控核心优势2大规模训练：稳定自底向上3层机制保障大模型稳定训练（2）腾讯云智慧传媒核心优势2大规模训练：高效1 .提高容器对资源的利用率GPU任务使拓扑感知调度，提OO支持虚拟GPU调度（O.l1.0卡）U(D2 .减少资源碎片，提高调度成功率,.:J.二.- AI批林任务使用gang调度策曙（要么都成功.要么都失败） GPU任务使用binpack峭度？6B8（优先踊一节点，避免多卡任务启动失效）支持任务排队，合理分配调度簪,33ff擒Q1Vmy.

7、一_A核l1.优势3自研加速：Angel三重优化（2）腾讯云智慧传媒2.显存优化Attention及M1.PBIoCk块算子融合优化CPU&GPU异步调用提高吞吐缓存定长+池化，提升参数支持规模AddFusedAddNorm1.ayernormQGemmKGemmTensorFusedBatchGemmVGemm3.计算优化训练加速效果对比（系统吞吐，越大越好）ChatG1.MBloom7B1.lama246ms/token126mstokenI17.7msoken太极Angel:12.9ms/token加速比1.37行业方案30ms/tokentAngel12.5ms/token加速比2.4

8、推理加速效果对比（输出token速度，越小越好）训练任务可运行模型服务可部署预设大模型物料可运行!I(I腾讯云Tl平台信创芯片算力可分配信创芯片算力可调度侑创容器平台信创数据薛底层软件硬件服务器信创操作系统信创CPU芯片信创A功睡卡（NPU芯片）提供大模型开发全生命周期信创支持支持以下模型在信创芯片算力上进行训练支持以下模型在信创芯片算力上进行服务部署开源大模型、自研行业大模型开源大模型、自丽亍业大模型支持在信创CPU芯片茸力上使用1.1.M训练框架支持在信创CPU芯片算力上使用1.1.M推理框架腾讯云TI平台百爰s议卡商窃港自置另芬扇而血运蝴系CPU+昇腾系NPU,融乌系CPU,飞髓系CPU

9、,般系CPU已支持基于以下信创容器平台告曙TI平台已支持基于以下信创数据库部署Tl平台腾讯TCS,灵雀云TKE,青云容器平台腾讯TDSQ1.底层软件已支持基于以下信创操作系统部署Tl平台HBTencentOS,银河麒麟核心优势4国产化适配：获得多项信创认证海光CPU生态兼容性认证1!发FMKaftft41tttt*mw*MtHAV4BQ4MlK*.“.人工.*.Ht.an*.AttBxtlBWMrAIKa6as*.Iu.v*vva.amWJa.At.-A1.VM.!iFB*2IftflM.MMMRvvtntraa*tt*fNaflftM*x4cc4Ra*aiC.NxrfrMftm.md.rw7v*a.*.极低配Il复杂业务场景,无配置情况下无去通过机器人闭环解决向即精准解答方案价值任务完成率提升在无多轮画布增加的前提下，突破效果天花板聚焦场景