华为云推出柔性智算FlexNPU 有效降低Token成本

麦享科技3月22日消息，据媒体报道，华为云在中小企业AI解决方案发布会上推出了一项算力黑科技——柔性智算操作系统FlexNPU，将Token消耗这一“吞金兽”有效控制在企业预算范围内，打造面向Agentic时代的极致Token性价比，为企业级智能体的普及突破算力瓶颈。

据介绍，在AI基础设施层，华为云提供昇腾多代系产品及自研的AI Infra OS，其中FlexNPU柔性智算技术既能满足中小企业小模型训练场景的需求，又可通过弹性调度大幅提升资源利用率。

在模型服务层，华为云支持业界主流开源模型，让企业既可灵活选择适配业务需求的模型，也能结合自有数据低成本微调专属模型。

在智能体平台层，华为云提供易用高效的Agent开发环境，助力开发者和中小企业面向行业场景打造企业级智能体。在智能体应用层，华为云联合伙伴深入洞察分析、营销运营、协同办公、开发运维、内容制作等高频应用场景。

“我们的推理池平均利用率竟然不足30%，花费重金建设、动辄数万、数十万卡的AI硬件算力池，竟有超过一半以上的算力在‘摸鱼、吃空饷’。”华为云首席架构师、华为公司Fellow顾炯炯在现场抛出了一组惊人数据。

他指出，Agent时代企业普遍面临算力痛点：Agent自主规划、多轮迭代、长上下文导致Token消耗量呈指数级增长，如何有效降低Token成本，已成为最核心和迫切的挑战。

为此，华为云发布了柔性智算FlexNPU，通过构筑强大而灵活的AI Infra层算力调度技术，大幅提升推理池的有效算力利用率，从而以相同的AI硬件算力投入，提供更大的Token吞吐输出。

顾炯炯用“可大可小、变化随心”的如意金箍棒来形容FlexNPU，表示FlexNPU赋予NPU或GPU算力“柔性或液态化”供给与伸缩的能力，可依据任意业务需求动态变化、随需而动，通过最大化AI算力投入的利用率，最终实现Token性价比的最优化。

具体而言，柔性智算FlexNPU具备极致共享、极致弹性和极致高可用三大属性。在大模型推理方面，FlexNPU通过引入基于柔性算力的PD动态混部、在离线推理混部等创新技术，解决了传统PD分离架构下Prefill和Decode集群不均衡的AI Core与显存利用率，以及推理业务潮汐变化规律所导致的大量AI算力空转浪费问题，带来至少40%的Token性价比提升。

在小模型推理方面，FlexNPU通过实现最小粒度达1% NPU卡及128MB显存的AI Core时分复用与显存空分复用，为小模型提供完美匹配其算力诉求、量体裁衣的虚拟NPU资源，将小模型的平均算力成本降低2至3倍以上。

在推理高可用保障方面，FlexNPU通过软硬解耦及Token级KV Cache的实时快照，使上层推理框架无需感知底层硬件故障，即可实现故障秒级快速恢复及断点续推，大幅减少Agent推理会话的重计算开销，提升用户推理体验。