边缘计算与人工智能融合的新范式.docx

《边缘计算与人工智能融合的新范式.docx》由会员分享，可在线阅读，更多相关《边缘计算与人工智能融合的新范式.docx（18页珍藏版）》请在优知文库上搜索。

1、边缘计算与人工智能融合的新范式（边缘智能）摘要：边缘计算与人工智能这两种高速发展的新技术之间存在着彼此赋能的巨大潜力。通过3个研究案例，展示协同边缘计算和人工智能这两种技术如何促进各自的进一步发展。从边缘计算赋能人工智能的维度，针对深度学习模型在网络边缘侧的部署，提出了基于边端协同的深度学习按需加速框架，通过协同优化模型分割和模型精简策略，实现时延约束下的高精度模型推理。从人工智能赋能边缘计算的维度，针对边缘计算服务的放置问题，提出了基于在线学习的自适应边缘服务放置机制和基于因子图模型的预测性边缘服务迁移方法。关键词：边缘计算；人工智能；边缘智能；服务迁移1引言近年来，随着全球范围内社会经济与

2、科学技术的高速发展，信息通信技术（informationcommunicationstechnology,ICT）产业不断地涌现出了许多新兴技术。其中，有两种代表性技术被广泛认为对人类经济社会产生了巨大的推动力与深远的影响力。其一，作为人工智能领域代表性技术的深度学习，受益于算法、算力和数据集等方面的进步，近年来得到了突飞猛进的发展，并在无人驾驶、电子商务、智能家居和智慧金融等领域大展拳脚，深刻改变了人们的生活方式，提高了生产效率。而另外一种技术则为从传统的云计算技术演化发展而来的边缘计算技术，相比于云计算，边缘计算将强计算资源和高效服务下沉到网络边缘端，从而拥有更低的时延、更低的带宽占用、更

3、高的能效和更好的隐私保护性。然而，鲜为人知的是，人工智能和边缘计算这两种具有划时代意义的新技术目前正面临着各自进一步发展的瓶颈。一方面，对于深度学习技术而言，由于其需要进行高密度的计算，因此目前基于深度学习的智能算法通常运行于具有强大计算能力的云计算数据中心。考虑到当下移动终端设备的高度普及，如何将深度学习模型高效地部署在资源受限的终端设备，从而使智能更加贴近用户与物端，解决人工智能落地的“最后一公里”这一问题已经引起了学术界与工业界的高度关注。另一方面，对于边缘计算而言，随着计算资源与服务的下沉与分散化，边缘计算节点将被广泛部署于网络边缘的接入点（如蜂窝基站、网关、无线接入点等）。边缘计算节

4、点的高密度部署也给计算服务的部署带来了新的挑战：用户通常具有移动性，因此当用户在不同节点的覆盖范围间频繁移动时，计算服务是否应该随着用户的移动轨迹而迁移？显然，这是一个两难的问题，因为服务迁移虽然能够降低时延从而提升用户体验，但其会带来额外的成本开销（例如带宽占用和能源消耗）。幸运的是，人工智能和边缘计算各自面临的发展瓶颈可以通过它们二者之间的协同得到缓解。一方面，对于深度学习而言，运行深度学习应用的移动设备将部分模型推理任务卸载到邻近的边缘计算节点进行运算，从而协同终端设备与边缘服务器，整合二者的计算本地性与强计算能力的互补性优势。在这种方式下，由于大量计算在与移动设备邻近的具有较强算力的边

5、缘计算节点上执行，因此移动设备自身的资源与能源消耗以及任务推理的时延都能被显著降低，从而保证良好的用户体验。另一方面，针对边缘计算服务的动态迁移与放置问题，人工智能技术同样大有可为。具体而言，基于高维历史数据，人工智能技术可以自动抽取最优迁移决策与高维输入间的映射关系，从而当给定新的用户位置时，对应的机器学习模型即可迅速将其映射到最优迁移决策。此外，基于用户的历史轨迹数据,人工智能技术还可以高效地预测用户未来短期内的运动轨迹，从而实现预测性边缘服务迁移决策，进一步提升系统的服务性能。总体而言，边缘计算和人工智能彼此赋能，将催生“边缘智能”的崭新范式，从而产生大量创新研究机会。本文将简要介绍笔者

6、研究团队在融合边缘计算与人工智能两个方向上的初步探索。首先，从边缘计算赋能人工智能的维度出发，为了在网络边缘侧高效地运行深度学习应用，本文提出了一个基于边端协同的按需加速深度学习模型推理的优化框架一一Edgento为了实现降低模型推理时间，并按需保障模型精确率的双重目标，Edgent采取以下两种优化策略：深度学习模型分割，自适应地划分移动设备与边缘服务器之间的深度神经网络模型计算量，以便在较小的传输时延代价下将较多的计算卸载到边缘服务器，从而降低整体端到端时延；深度学习模型精简，通过在适当的深度神经网络的中间层提前退出，进一步减小计算时延。其次，从人工智能赋能边缘计算的维度出发，针对边缘计算服

7、务的动态迁移与放置问题，本文首先提出了一种用户自适应管理的在线服务放置机制。该机制能够通过在线学习（onlinelearning）人工智能技术自适应复杂的用户行为和多变的边缘网络环境，从而辅助用户做出高效的服务迁移决策。最后，本文还将展示如何使用因子图模型（factorg11phmodel）这一新兴人工智能技术实现用户位置预测，从而改善边缘服务动态迁移决策的质量。2边缘计算驱动实时深度学习作为人工智能领域的主流技术之一，深度学习近年来得到了学术界与产业界的大力追捧。由于深度学习模型需要进行大量的计算，因此基于深度学习的智能算法通常存在于具有强大计算能力的云计算数据中心。随着移动终端和物联网设备

8、的高速发展与普及，如何突破终端设备资源限制，从而将深度学习模型高效地运行在资源受限的终端设备这一问题已经引发了大量关注。为解决这一难题，可考虑边缘计算赋能人工智能的思路，利用边缘计算就近实时计算的特性，降低深度学习模型推理的时延与能耗。2.1 问题描述常见的深度学习模型（如深度卷积神经网络）是由多层神经网络相互叠加而成的.不同网络层的计算资源需求以及输出数据量都具有显著的差异性，那么一个直观的想法是将整个深度学习模型（即神经网络）切分成两部分,其中计算量大的一部分卸载到边缘端服务器进行计算，而计算量小的一部分则保留在终端设备进行本地计算。显然，终端设备与边缘服务器协同计算的方法能有效降低深度学

9、习模型的计算时延。但是，选择不同的模型切分点将导致不同的计算时间，需要选择最佳的模型切分点，从而最大限度地发挥终端与边缘协同的优势。除了对模型进行切分外，加速深度学习模型推断的另一手段为模型精简，即选择完成时间更快的“小模型”，而不是选择对资源需求更高的“大模型”。对于任意的深度学习任务，可以离线训练生成具有多个退出点的分支网络，退出点越靠后，模型越“大”，准确率也越高，但相应地推断时延也越大。因此，当深度学习任务的完成时间比较紧迫时，可以选择适当地牺牲模型的精确度，以换取更优的性能（即时延）。值得注意的是，此时需要谨慎权衡性能与精度之间的折中关系。综合运用上述模型切分和模型精简两种方法调整深

10、度学习模型推断时间的优化手段，并小心权衡由此引发的性能与精度之间的折中关系，本文定义如下研究问题：对于给定时延需求的深度学习任务，如何联合优化模型切分和模型精简这种方法，使得在不违反时延需求的同时最大化深度学习模型的精确度。2.2 优化框架针对上述问题，笔者团队提出了基于边缘与终端协同的深度学习模型推断优化框架Edgent。如图1所示，Edgent的优化逻辑分为3个阶段：离线训练阶段、在线优化阶段以及协同推断阶段。图1基于边缘与终端协同的深度学习模型运行推断优化框架Edgem上述基于边缘服务器与终端设备协同的深度学习模型推断框架的设计思路为：在离线阶段，训练好满足任务需求的分支网络，同时为分支

11、网络中的不同神经网络层训练回归模型，以此估算神经网络层在边缘服务器与在终端设备上的运行时延；在在线优化阶段，回归模型将被用于寻找符合任务时延需求的退出点以及模型切分点；在协同推断阶段，边缘服务器和终端设备将按照得出的方案运行深度学习模型。（1）离线训练阶段在离线训练阶段，Edgent需要执行以下两个初始化操作：分析边缘服务器与终端设备的性能，针对不同类型的深度学习模型网络层（如卷积层、池化层等）生成基于回归模型的时延估算模型。在估算网络层的运行时延时，Edgent会对每层网络层进行建模，而不是对整个深度学习模型进行建模，不同网络层的时延是由各自的自变量（如输入数据的大小、输出数据的大小）决定的

12、，基于每层的自变量，可以建立回归模型，估算每层网络层的时延；训练带有多个退出点的分支网络模型，从而实现模型精简。这里笔者采用BranchyNet分支网络结构，在BranChyNet的结构下，可以设计并训练生成带有多个退出点的分支网络。需要注意的是，性能分析取决于设备（例如手机、VR头盔和智能手表等不同设备在运行同一深度学习模型时的性能表现不同），而深度学习模型是取决于应用的（例如物体识别和物体分类等不同计算机视觉应用对应的深度学习模型不同），因此在给定深度学习应用以及设备（即限定边缘服务器与终端设备）的情况下，以上两个初始化操作在离线阶段只需要完成一次。（2）在线优化阶段这个阶段的主要工作是利

13、用离线训练的回归模型在分支网络中找出符合时延需求的退出点以及模型分割点。因为要最大化地给出方案的准确率，所以在该阶段中，笔者从最高准确率的分支开始,迭代地找出符合需求的退出点和切分点。在这个过程中，Edgent实时测量当前移动终端与边缘服务器之间链路的网络带宽，以便估算移动终端与边缘服务器间的数据传输时延。紧接着，Edgent沿着尺寸从大到小的网络分支，依次遍历每个网络分支上不同的分割点，并基于当前网络带宽和不同网络层计算时间估算所选分支网络与分割点对应的端到端时延与模型精确度。在遍历完所有的分支网络与切分点后，Edgent输出满足时延需求的所有网络分支与切分点组合中具有最大精确度的一个组合。

14、(3)协同推断阶段在协同推断阶段，根据在线优化阶段输出的最优网络分支与切分点组合，边缘服务器与移动终端对深度学习模型进行协同推断。实验表明，Edgent在提升深度学习应用实时性能方面表现优异，能在不同的计算时延需求下，实现高精度的模型推理(具体实验结果请见参考文献)。3基于在线学习的自适应边缘服务放置机制基于人工智能赋能边缘计算的思路，针对边缘计算服务的动态迁移与放置问题，笔者接下来介绍一种用户自适应管理的在线服务放置机制。该机制利用人工智能的在线学习技术，针对复杂的用户行为和多变的边缘网络环境进行自适应学习，从而辅助用户做出高效的服务迁移决策。3.1 问题描述尽管边缘计算能解决用户资源受限和

15、云计算中时延过大的问题，但由于边缘节点服务覆盖范围较小，用户的移动将对服务质量产生极大的影响。如图2所示,当用户从一个边缘节点服务区域移动至其他的节点服务区域时，需考虑是否进行服务迁移，以保证满意的服务质量。一方面，用户可以选择继续让服务在原边缘节点进行处理，通过边缘节点之间的数据传输保证服务的连续性。另一方面，用户可以选择服务迁移，以此减小端到端时延。前者可能由于过长的网络距离导致较大的传输时延，后者则引入了服务迁移导致的额外开销。同时由于用户的个性化需求，不同的服务种类和迁移开销也增加了服务放置的难度，例如轻量级的应用用户更倾向于本地处理，计算密集型应用用户更倾向于云服务器处理，计算密集型

16、且时延敏感型的应用用户更倾向于边缘服务器处理。为此，笔者提出了一种基于在线学习的自适应边缘服务放置机制，该机制可以有效地权衡时延与迁移代价之间的折中关系。图2边缘网络中的用户移动示意3.2 基于在线学习的自适应边缘服务放置算法服务放置策略的制定通常与用户行为特性和网络环境有关。其中，行为特性主要包括用户的移动模型、请求服务的种类以及个人偏好等因素，网络环境主要包括边缘网络可用的资源、节点之间的传输带宽等因素。对于用户来说，其当前时刻的行为特性是已知的，而网络环境是透明的。用户自适应管理机制通过在线学习的方式，根据用户的历史决策数据对动态网络环境的相关参数进行评估。随着环境探索次数的增加，用户对网络参数的评估也会愈发精准，进而优化其服务放置策略。为了方便刻画用户移动过程中的一系列决策行为，笔者将连续的时间段划分为一系列小的离散片段，在每个离散的时间片段中，用户确定当前的服务放置策略，同时用户行为和动态网络环境在该片段内保持不变。为了有效地衡量边