图片来源：unsplash

近一个多月以来，随着本地模型、小模型，尤其是个人智能体的涌现，再次引发了有关AI如何安全、靠谱地走入人们的电脑、手机等本地端侧设备中的讨论。

虽然不少声音都看好端侧AI未来将取代云端AI成为主流，但爆发时刻似乎屡屡“失约”，如今，这一赛道究竟走到了哪一步？还面临哪些瓶颈？能否出现“杀手级”产品？又何时才能真正与云端AI“掰一掰手腕”呢？

10月14日，在“从芯出发，向端而生”大模型赋能智能终端创新实践大会暨后摩智能生态合作伙伴大会上，全球人工智能创新治理中心副主任、资深研究员，复旦大学国际关系与公共事务学院副教授蒋昌建提示称，关注端侧AI的发展，需要理解其背后从云端到边端转移带来的算力下沉，以及权力、风险和责任分配的变化。

蒋昌建以近期备受关注的亚马逊封锁Meta个人智能体Muse为例，强调了端侧AI发展背后的技术权限、商业规则问题，并提出，形成开放公平的接口治理制度，实现安全、自主、公平与责任的统一，对端侧AI的发展尤其重要。

算力下沉也正在改变着芯片行业的格局。

后摩智能创始人、CEO吴强介绍称，公司自2020年成立以来持续深耕存算一体、端侧算力，而过去一年来行业的变化尤为明显。他提到，Agent的爆发让Token消耗提升2到3个数量级，而且这种趋势还在加速，这让计算效率变得更加重要，后摩智能的存算一体端侧芯片产品的市场表现也在快速提升，其M50芯片量产不到一年，已获得150多个产品定点，服务客户超过百家。

吴强还介绍称，在公司产品主要覆盖的四大场景中，目前起量最快的是Agent Computer和边缘服务器。谈及AI PC，他看重的是PC市场数亿台存量所蕴含的机会：普通PC向AI PC的渗透需要一个过程，但未来的市场潜力更大。与此同时，具身智能场景也正在起量。

对于端侧AI的发展，吴强则强调了成本和生态的关键作用。他认为，如果能把Token的边际成本压到趋近于零，本地算力一次性投入后可以无限调用，将极大加快行业发展。他还表示，后摩智能也由此提出了“端侧免费Token工厂”的概念，希望成为端侧AI的算力底座，用更低的能耗生产更多智能。对于这一发展路径，吴强表示，现阶段，多数复杂场景的需求仍需由端边模型与云端协同满足，端侧芯片也在性能和经济性上快速进步。随着模型和芯片两端共同演进，他判断，未来1-2年左右可能达到临界点。

阿里云智能集团千问模型智能硬件行业总监徐超也在会上表示，端侧AI的发展关键是如何有效利用NPU算力与内存，把模型做小、智能密度做高。在他看来，到2027年年中，很可能用端侧模型就已经能解决大部分人的很多工作需求，届时“个人超级计算机”也很可能会变成标配。

值得注意的是，随着今年推理需求的爆发、Token经济学成为“显学”，Token/$与Token/W成为市场关注的焦点指标。在后摩智能联合创始人、产品副总裁信晓旭看来，前者关注的是单位成本所能获得的Token产出，后者关注的则是推理输出与功耗之间的关系。他介绍称，公司也在以此为目标布局技术和产品，核心是以SRAM-CIM为根技术，持续推进计算架构和封装技术创新，形成2D CIM与3D CIM两条技术路径，分别面向更大容量和更大带宽的需求。

信晓旭还尤其提到，在端侧模型、芯片、应用快速成熟过程中，今年Agent的爆火影响尤其大。“现象级Agent平台的涌现，极大加速了端边AI创新和落地的进程。这个场景特别像当年移动互联网的起点。当时，正是iOS、安卓系统平台的成熟，才有了智能手机应用的大规模爆发。”在他看来，端侧AI也正在迎来类似的奇点时刻。

万格智元创始人、CEO王冠博也表示，从渗透率来看，2023年至今AI仍以指数级的规模在跃迁式增长，但目前确实已出现“算力下沉”的变化。他认为，这背后的核心是用户的选择，用户需要的不是最贵、最强的模型，而是能解决其需求的模型。而随着模型密度提升，端侧AI能解决的问题越来越多，AI发展的范式也会从“依赖智能”走向“拥有智能”，端侧最终会成为所有人使用AI的真正入口。

不过，在端侧AI的发展过程中，场景落地、部署门槛、商业模式等仍存在瓶颈。

罗格数据CTO刘学鹏提到，用户不会为“一公里外”的模型能力买单，只会为最后100米买单，端侧AI想跑通这最后100米，还需要迈过数据打通、交互嵌入工作流、概率模型稳定性三道门槛。不少行业人士也指出，端侧AI在安全、隐私、稳定、成本等方面都被寄予厚望，但目前的核心矛盾是场景不足、规模化落地不够，恰恰前述因素都需要在具体场景和落地实践中才能得到验证。而除了端侧各环节继续发展、落地外，产业的生态协同也被认为是赛道未来发展的关键所在。

吴强也强调，想打造端侧AI生态，就需要从单点合作走向系统化协同，将不同项目中积累的适配经验、开发工具和合作方案连接起来，降低门槛、缩短周期，加快端侧AI产品落地。