云端处理时延长、数据传输成本高，存在数据安全担忧。英特尔高级副总裁Sachin Katti表示，AI向边缘端渗透，大模型或逐步从云端向边缘端转移。

英特尔高级副总裁兼网络与边缘事业部总经理Sachin Katti

“我们预计AI将更多地在边缘端部署和应用，以处理本地数据。随着时间的推移，AI模型可能会逐步从云端向边缘端转移。”7月24日，在2024英特尔网络与边缘计算行业大会上，英特尔高级副总裁兼网络与边缘事业部总经理Sachin Katti表示，当前的AI主要在云端运行，随着边缘设备在本地产生大量数据，将所有数据传输至云端的成本相当高昂，向边缘计算演进是大势所趋。

数据安全、实时性推动AI从云端走向边缘端

Sachin Katti表示，人类正处于AI辅助时代，AI帮助人类更高效地工作，在AI辅助时代之后，人类将迈入AI助手时代，“开车经过快餐店，AI智能体可以提供点餐服务，企业的工作流也可以用AI完成。在遥远的未来，我们可能会发现，智能体之间能够交互，就像人类一起合作一样，提供部门级的解决方案。”

Sachin Katti表示，今天的AI增长主要集中在云上，但向边缘计算演进是大势所趋，“过去，我们讲到的AI基本上关于机器视觉或以时间序列为基础的自动化技术。但现在的边缘AI已经从边缘的机器视觉逐步进展到大语言模型、生成式AI等的边缘应用。英特尔就要不断地提供相关能力，加速在边缘端部署生成式AI以及大语言模型。”

除了边缘数据的传输需求，数据安全、实时性是推动AI从云端走向边缘端的重要考虑。英特尔市场营销集团副总裁、英特尔中国网络与边缘及渠道数据中心事业部总经理郭威表示，一方面，企业存在将数据放在云端的担忧，另一方面，边缘计算有助于解决实时性要求。

“今年基本上我们一半以上的客户都在探索基于边缘大模型的落地解决方案。”英特尔副总裁兼网络与边缘事业部中国区总经理陈伟表示，从边缘计算的落地来看，模型规模并非越大越好，而是应该适合市场应用场景的实际需求，“边缘计算的部署需要考虑很多因素，比如时延、可实用性、微观数据的可调优化以及信息安全等。”

边缘调优受限于数据量

“边缘的特点就是碎片化。”英特尔中国区网络与边缘事业部首席技术官、英特尔高级首席AI工程师张宇说，不同用户对于算力、性能有不同要求。边缘调优的常见挑战是数据量限制，一个学校或一个工厂真正能用来做训练的数据量很小。不同企业、不同学校的数据也不同，汽车零部件生产工厂和机加工工厂遇到的问题不同，不能用统一模型检测产品缺陷，必须用企业特定数据来训练模型。

与此同时，张宇表示，“做训练需要做标注，让机器知道你到底在关注什么。一个工厂里真正操作AI功能设备的往往是生产线上的工人，他们在生产过程中哪有精力做标注？”因此在边缘调优时需要用自动化的标注手段，在数据量较少的情况下完成标注。“在边缘端，最终用户追求的是业务部署，而不是技术方案。用户对业务的要求是方便、易于部署，部署后易于管理，这往往是客户的痛点。”

郭威表示，解决实际的行业问题仅仅依靠模型训练仍然不够，推理能力的提升诉求在今年尤为明显。大模型落地必然涉及从端到边缘、再到云端的算力平衡分布，“如果只是垂直大模型的标准应用，大模型主要部署在云端。但由于行业落地的需要，必然会促使AI算力向边缘和端侧分布。”

Sachin Katti表示，边缘端的主要工作负载是推理和持续学习。有时在边缘端部署后发现效果不及预期，或随着一段时间的运行，就需要对原有的模式进行微调。

边缘端究竟需要多少算力？Sachin Katti表示，算力与能耗存在正相关性。在边缘端部署设备，能耗大约200瓦，云端部署的能耗在1-2千瓦，而数据中心的单层机架能耗或高达100千瓦。如果将整个数据中心的能耗累加起来，可能会达到50-100吉瓦。在算力或能耗较高的情况下，冷却效率和冷却能力是必须考虑的关键变量。由于大规模数据和算力会产生大量热量，“我们目前采用液冷技术对机群有效降温。现有的液冷技术已经能够成功为100千瓦的机群降温，未来有望扩展到300千瓦。因此，限制算力还有一个非常重要的因素，就是你是否有足够的能力有效进行整体环境的降温。”