从数据中心走向终端，边缘AI为何成为人工智能的新宠儿

新程序已上线

2024-05-08 20:15发布

41阅读

服务器数据中心边缘计算

边缘AI是指在终端设备上运行AI应用，烧结水封原理即使在不连接网络的情况下，靠终端设备上的算力也能够流畅运行诸如大模型等各种AI应用。

在数字时代的今天，人工智能已经成为企业数字化转型的核心驱动力。随着软硬件技术的不断发展，在终端设备上部署AI已经成为主流趋势，边缘AI引起众多用户的关注。

那么，什么是边缘AI？边缘AI与边缘计算有哪些区别？边缘AI有哪些优势？部署边缘AI面临着哪些挑战？本文将详细进行解读。

什么是边缘AI？

边缘AI是指在终端设备上运行AI应用，即使在不连接网络的情况下，靠终端设备上的算力也能够流畅运行诸如大模型等各种AI应用。

我们知道，AI对算力有着极高的要求，在终端设备上部署AI应用，同样需要强大的算力。为了降低边缘AI应用对终端设备带来的算力要求，目前行业的普遍做法是通过在本地或云上数据中心完成数据的训练任务，在终端设备上执行模型的推断和预测，这样就能够很好地降低终端设备运行AI应用的算力需求。实际上，最近备受大家关注的AI PC，本质上就是边缘AI的一种形式。

边缘AI与边缘计算有哪些区别？

边缘AI与边缘计算最大的区别在于，边缘AI是在终端设备上运行具体的AI应用，而边缘计算是一种基础架构和计算模型。

边缘AI要求终端设备能够进行人工智能的计算和推理，因此需要更强的计算能力。边缘计算是在接近数据生成和使用的终端提供实时的计算、存储和网络服务，以减少数据传输延迟、减轻对网络带宽的依赖。因此，相对边缘AI而言，边缘计算对算力的要求要更低一些。

可以说，边缘AI是边缘计算的升级，是在具备边缘计算能力的终端设备上运行AI应用，让设备具备更加强大的AI能力，让边缘设备变得更加智能，能够处理更多复杂的应用。因此，边缘AI可以使边缘设备更加智能化，能够自主地进行一些复杂的数据处理和决策，而无需依赖数据中心和云端的计算资源。

边缘AI有哪些优势？

相对于在传统数据中心或云服务器上运行AI应用，边缘AI主要有以下几个方面的优势：

1）实时响应能力：在本地终端设备上运行AI应用，避免了数据在本地与云/数据中心之间的传输，从而降低了计算延迟、网络延迟，能够提供更快的实时响应能力。

2）个性化服务：基于应用场景和用户行为数据，边缘AI所具备的自主学习能力，能够为不同的场景和不同的用户提供定制化服务，以此来满足个性化需求。

3）数据安全和隐私保护：由于AI应用运行和数据处理都在本地设备上完成，避免了数据在本地与云端间的传输，从而减少了数据泄露漏的风险，更好地保护用户隐私。

4）降低成本。边缘AI减少了对数据中心和云端服务的依赖，有效地降低了长期成本。

边缘AI面临的主要挑战有哪些？

虽然边缘AI拥有很多优势，但就目前而言，部署边缘AI仍旧面临着以下诸多挑战：

1）算力：AI应用对算力有着极大的要求，边缘AI也不例外。以AI PC为例，智能ic卡水表工作原理微软Copilot人工智能大模型在搭载英特尔处理器的PC上本地运行，至少需要40 TOPS算力的NPU。目前来看，代号为Meteor Lake酷睿Ultra系列处理器NPU的算力仅为10 TOPS，远低于这个标准。当然，英特尔下一代Lunar Lake酷睿Ultra系列处理器NPU的算力将提供45 TOPS的NPU算力，但这一代产品最早也要于2024年圣诞节上市。

因此，就目前来看，算力仍旧是影响边缘AI部署的最主要挑战。

2）功耗：受产品体积限制，终端设备对功耗有着极高的要求，这就要求计算、存储、网络等在保证高性能的情况下，还要控制好功耗，在计算能力和能效之间找到合适的平衡。

3）数据安全和隐私保护：边缘AI对数据安全和隐私保护提出了更高的要求。为此，要求在AI芯片设计时就必须包含加密和安全功能，以此防止人为破坏等造成的数据泄露漏事故发生。

4）灵活部署和敏捷运维。由于边缘AI应用五花八门，为了更好地满足不同场景下的多样化应用要求，达到规模化效益，采用软件定义和适于软件移植的标准必不可少。与此同时，还要综合考虑如何进行敏捷智能化运维。

最后，由于目前边缘AI还处于初始阶段，如何在终端设备上引入人工智能，发挥边缘AI的整体优势，还需要进行更多的研究和论证。

边缘AI适用于哪些应用场景？

笔者认为，边缘AI目前适用于以下场景：

一是商用办公： AI PC是目前最典型的应用场景，通过在本地商用电脑中运行各种大模型应用，能够更好地提高办公效率，提升用户的使用体验，并且彻底摆脱网络束缚，让AI在办公场景中真正地做到无处不在。

二是智能驾驶：智能座舱、自动驾驶等已经逐渐成为智能汽车的标准配置。未来，在边缘设备的强大算力支撑下，在各种AI应用的加持下，在不需要连接网络的情况下，也能够实现自动驾驶等功能，为驾乘人员提供更加精彩丰富的车内生活。

三是智慧工厂：通过在边缘设备上部署AI算法，能够在不需要连接网络的情况下，实现在无人环境下快速准确地处理数据，做出及时的处理与决策。除此之外，在人工智能加持下，机器人的形态更加多元化，除了传统的工业机器人、协作机器人之外，人形机器人的形态将越来越多地应用于工业领域。

四是智能交通：以十字路口的红绿灯为例，通过部署边缘AI设备，自动监控路口的车流与人流，自动调整红绿灯的间隔时间，能够有效防止交流拥堵现象，让交通更加顺畅。因此，在边缘AI的加持下，交通也将变得更加智能。

除了以上应用场景之外，边缘AI未来还将在智能家居、智慧城市、智慧农业等各种场景中发挥巨大价值。

写在最后：

在AI加持下，边缘设备将变得更加智能，为边缘应用带来无限可能。当然，从边缘计算迈入边缘AI，除了需要解决算力问题之外，还需要面向不同的边缘场景探索更多的AI应用。只有这样，才能让边缘AI在更多行业中落地，为更多的用户带来更加智能化、个性化的体验。

责任编辑：张诚来源： 51CTO

边缘AI

分享到微信

微信扫码分享

分享到微博

相关推荐

“零背板”技术云数据中心的“新宠儿”

网络技术的飞速发展，让云数据中心正逐步成为信息化新商业时代的“心脏”，而作为“心脏”中的“心脏”，数据中心核心交换机的重要性不言而喻，其技术更是突飞猛进。以锐捷网络新近推出的RGN18018X核心交换机为例，这是业内第一款100T平台上应用“零背板”技术的产品，它的创新性又体现在那些方面呢

2015-10-28 14:25:24

人工智能正在推动数据中心走向边缘

数据中心已成为连接我们数字互联世界的基石。与此同时，人工智能（AI）和机器学习（ML）的快速增长和应用正在影响数据中心的设计和运营。

2024-03-27 11:20:08

微软Windows 7将成为IT的新宠儿

任何一个熟悉企业级或SMB级机构的人都非常确信一件事：生产力远远要比华而不实的新技术重要。而Vista从一开始就在两个方面与上述“真理”相悖。

2009-02-19 16:49:49

Windows 7优点

OM4光纤：数据中心新宠儿光纤应用聚焦点

OM4光纤是一种激光优化型纤芯为50μm的多模光纤，也可以理解为OM3多模光纤的升级版，在数据中心，多模光纤解决方案配合OM3以太网新标准，可以支持100米传输。但是，只要超过100米的15%以上，OM3光纤通信就很难到，而OM4往往却很容易就能支持这些距离。

2011-08-03 14:03:08

ALTIBASE，DBMS界的新宠儿

随着在大型IT企业的解决方案中，成功替换原本客户使用的Oracle、Microsoft、IBM产品的案例逐渐增加，ALTIBASE产品越来越吸引大家的关注。Oracle、Microsoft、IBM等企业的DBMS软件，不但License及维护费用高昂，而且使用InMemory相关功能时还需要支付额外费用等，对此不满的用户日益增加。此外，技术支持满意度相对较低，在最重要的系统上频频发生功能与性...

2015-05-20 13:12:53

ALTIBASE内存数据库

弥合差距：为人工智能时代改造数据中心

改造小型数据中心的策略可以包括增加镍锌电池等新技术作为备用电源。

2024-03-04 13:02:46

数据中心人工智能

助力警方破案步态识别技术成为市场新宠儿

步态一般是指人类走路时的姿态，这是一种颇为复杂的行为特征。与其他的生物识别技术相比，步态识别具有非接触远距离和不容易伪装的优点。也就是说，步态识别技术不需要人为配合，能够适应更为普遍的应用场景，特别适合用来进行远距离身份识别。

2019-09-23 09:34:05

人工智能的影响无处不在：从数据中心到边缘

边缘人工智能的崛起将为各种应用的创造力、创新和个性化体验带来新的机遇。然而，要在任何地方充分发挥人工智能的潜力，就需要用于推理以及边缘和端点设备安全的内存技术不断发展。

2024-03-15 10:31:47

为什么Docker成为虚拟化与云计算领域的新宠儿？

又是一年OSCON大会，今年云基础设施成了所有技术人士最为关心的热门词汇。而其中最炙手可热的新兴项目正是Docker，这款超轻量化集装箱式应用可谓充满发展潜力。

2014-07-17 14:22:38

Docker云计算

10Gb以太网——数据中心的未来

10GigabitEthernet(GbE)正逐渐成为新宠儿，至少对数据中心而言是这样的。

2011-01-24 13:32:16

AI虚拟助理：咱是运营商的新宠儿

AI虚拟助理是大势所趋，正如当年移动应用的发展。电信运营商必须发展AI虚拟助理，而不是考虑应不应该发展。随着市场的快速发展演变，市场趋向多元化，更多AI虚拟助理将涌现，电信运营商需加强应变能力，提升技术水平，注重用户体验，强化生态建设，才能在AI虚拟助理市场拥有立足之地。

2018-06-08 16:04:49

OpenDaylight能否成SDN时代新宠儿

最近一段时间，很少有人提到OpenDaylight这个字眼。毕竟多年以来一直使用并管理网络方案的工作人员，很少会看到关于OpenDaylight相关的新闻，因此对其并不十分了解。

2013-10-08 10:13:41

SDNOpenDayligh

编程语言新宠儿：Julia诞生记

导读：本文作者StefanKarpinski是一名数据科学家和应用数学家。曾就职于Akamai,CitrixOnline和Etsy；ViralShah爱好对高性能计算机研究工作，曾就职于微软StarP部门；AlanEdelman是一名教授，从事高性能计算、数值计算、线性代数、随机特征分析（随机矩阵理论）等方面研究。文中探讨了Julia语言的开发缘由以及它的新特性。笔者认为一门新语言的诞生势必会掀...

2012-02-27 09:20:43

重塑数据中心的人工智能

随着数据中心的不断发展和人工智能的不断演进，二者之间的相互渗透相互作用也开始不断增强和加强。人工智能在数据中心规划、建设、运营等环节当中发挥的作用也越来越大。

2018-12-21 15:15:48

人工智能推动数据中心投资

“与传统的数据中心部署不同，人工智能工作负载以更高的功率密度运行，运营商强调其管道内的交易以每个机柜050kW的功率运行，在某些情况下，每个机柜的功率密度高达+100kW。”

2023-04-27 09:44:47

人工智能数据中心

AI人工智能技术在数据中心的应用

AI人工智能技术在过去几年中一直在进步，并已在包括数据中心在内的许多行业中实施，。今天随小编来一起看一看，AI人工智能技术在数据中心的技术应用和功能。

2022-02-18 11:41:55

AI人工智能

数据中心市场为人工智能爆炸式增长做好准备

鉴于最近人工智能媒体的狂热，Omdia的新研究表明，数据中心市场对人工智能的实际应用有了更高的认识，这些应用有望提高生产率和降低成本。据研究人员称，迄今为止的集体证据表明，这不会只是昙花一现。

2023-09-06 11:41:34

数据中心人工智能

人工智能将成为数据中心管理的覆性的技术

数据中心与其他以技术为基础的行业一样，只有不断创新才能取得成功，而那些传统架构的数据中心很快就会过时，就像CRT显示器和拨号电话一样，根本无法满足外部（客户）和内部（成本和投资回报率）日益复杂的需求。而颠覆性技术是变革的引擎，各行业也迫切需要变革。

2017-11-21 14:16:22

论数据中心与人工智能的关系

人工智能这个词语很多人并不陌生，已经存在了60多年了。不过，直到最近人工智能才真正火起来。这缘于2016年年初，谷歌发起那场AlphaGo与韩国名将李世石的围棋大战，举世瞩目，最终结果令世人轰动，机器人获得了胜利，随后又组织了几场人机大战，最终都以机器人获胜而告终，这不得不让人感叹人工智能技术的厉害之处。

2017-07-26 16:26:47