边缘智能：实现实时数据处理和智能决策的新一代技术

Labs 导读

边缘智能（Edge Intelligence）是一种将人工智能（AI）和边缘计算相结合的新兴技术。传统的人工智能应用通常依赖于云计算中心进行数据处理和决策，但这种方式存在延迟和网络带宽的问题。

Part 01、什么是边缘智能

边缘智能（Edge Intelligence）是一种新兴的技术概念，它指的是将人工智能（AI）算法和模型部署在接近数据源的物联网设备及其附近的网络节点上进行实时数据处理和分析的能力。在过去几年中，AI的快速发展引发了许多创新应用和解决方案。然而，随着AI模型的规模和复杂性不断增加，传统的云计算架构面临着一系列挑战，如高延迟、网络拥塞和数据隐私等问题。为了克服这些挑战，边缘计算和人工智能的结合应运而生，形成了边缘智能的概念。边缘智能不仅将AI模型的训练和推理移动到离用户更近的边缘设备上，如智能手机、传感器、路由器、监控摄像头等。通过在这些边缘设备上进行实时数据处理，快速响应和分析数据，并在本地做出决策，从而避免了将所有数据发送到云端进行处理的延迟和安全隐患，为AI应用带来了许多新的机会。

对于边缘智能的范围及评级，已有研究认为边缘智能应该是充分利用终端设备、边缘节点和云数据中心层次结构中可用数据和资源的范例，从而优化深度神经网络模型（Deep Neural Networks, DNN）的整体训练和推理性能。这表明边缘智能并不意味着DNN模型必须在边缘训练或推理，而是可以通过数据卸载以云-边-端协同的方式来工作。同时，根据数据卸载的数量和路径长度，将边缘智能分为6个等级。

在计算延迟和能耗增加的代价下，随着边缘智能等级的提高，数据卸载的数量和路径长度会减少，从而降低数据卸载的传输时延，增加数据隐私性，减少网络带宽成本。

Part 02、边缘智能模型训练

边缘分布式深度神经网络训练架构可分为集中式、分布式、混合式（云边端协同）三种模式。

➪ 集中式：DNN模型在云数据中心进行训练，用于训练的数据是从分布式终端设备（如手机、汽车和监控摄像头）生成和收集的，一旦数据到达，云数据中心将使用这些数据进行DNN训练。基于集中式架构的系统，可以根据系统采用的具体推理方式，在边缘智能中识别为第1级、第2级或第3级。

➪ 分布式：每个计算节点使用本地数据在本地训练各自的DNN模型，并将私有信息保存在本地。通过共享本地训练更新来获得全局DNN模型。该模式下，无需云数据中心干预即可训练全局DNN模型，对应边缘智能的第5级。

➪ 混合式（云边端协同）：结合集中式和分布式，边缘服务器可以通过分布式更新来训练DNN模型，或者使用云数据中心来集中式训练。对应边缘智能中的第4级和第5级。

目前，边缘智能模型训练方法，主要通过训练损失、收敛性、隐私性、通信成本、延迟和能源效率这6个关键性能指标来评价。

边缘智能模型训练可支持的技术如下表：

Part 03、边缘智能模型推理

高质量的边缘智能服务部署，除了实现深度学习模型的分布式训练，还需要在边缘高效地实现模型推理。边缘智能的推理模型，分为基于边缘、基于设备、边缘-设备和边缘-云四种模式。

➪ 基于边缘的推理模型：设备处于边缘模式，接收输入数据，然后将他们发送到边缘服务器。边缘服务器完成DNN模型推理，并将预测结果返回给设备。推理性能依赖于设备与边缘服务器之间的网络带宽。

➪ 基于设备的推理模型：设备处于设备模式，移动设备从边缘服务器获取DNN模型，并在本地完成模型推理，在推理过程中，移动设备不断与边缘服务器通信，因此需要移动设备具有CPU、GPU和RAM等资源。

➪ 基于边缘-设备的推理模型：设备处于边缘-设备模式，设备首先根据网络带宽、设备资源和边缘服务器负载等因素将DNN模型划分为多个部分；然后将DNN模型执行到特定层，并将中间数据发送给边缘服务器。边缘服务器将执行剩余层，并将预测结果发送到设备上。

➪ 基于边缘-云的推理模型：设备处于边缘-云模式，设备负责收集输入数据，并通过云边协同执行DNN模型。

边缘智能模型推理的性能主要通过延迟、精度、能量效率、隐私性、通信成本和内存占用这六个指标来进行评价。

边缘智能模型训练可支持的技术如下表：

Part 04、边缘智能的研究方向

边缘智能作为一种新兴的技术领域，有着广阔的研究方向和发展潜力，根据边缘智能的技术特点和应用场景，未来可从以下几个方面进行研究：

编程和软件平台。随着越来越多人工智能驱动的计算密集型移动和物联网应用的出现，边缘智能即服务（Edge Intelligence As a Service, EIaaS）将成为一种普适范式，具有强大边缘人工智能功能的EI平台将被开发和部署。

边缘智能算法与模型设计。在边缘设备上开发高效的智能算法和模型，以实现更加智能的数据处理和决策能力。包括机器学习、深度学习、强化学习等算法在边缘设备上的优化和部署。

安全和隐私问题。在边缘智能环境中保障数据的安全和隐私，包括数据传输的加密与认证、边缘设备的安全防护、用户隐私的保护等方面。

计算感知网络技术。基于人工智能的计算密集型应用通常运行在分布式边缘计算环境中。因此，先进网络解决方案应该具有计算感知，在不同的边缘节点之间有效共享计算结果和数据。构建高效可靠的边缘智能网络架构，包括网络拓扑结构、数据传输协议、通信安全等。同时，利用边缘计算资源提供高速且低延迟的通信服务。

应用场景与系统设计。将边缘智能技术应用于各个领域，如智能交通、智能制造、智能城市、健康医疗等，探索适应性强、高效可靠的边缘智能系统设计，以解决实际问题并推动行业发展。

边缘计算与数据处理。将边缘设备中的计算能力和存储能力充分利用起来，实现数据的实时处理和分析。同时，在资源有限的边缘设备上优化计算和存储资源的管理和调度，提高计算效率和资源利用率，以提高系统的效率和性能。

边缘智能的自适应学习与优化。使边缘智能系统能够根据环境和需求的变化自主学习和优化，提供更加智能化的服务和决策。

边缘智能与其他相关领域的结合。边缘智能与物联网、5G通信、云计算等技术的结合，以实现更加综合、高效的智能化方案。