8月28日，在8月27日举办的第四届828 B2B企业节上，华为云宣布其Tokens服务全面接入CloudMatrix384超节点。通过新型xDeepServe架构，单芯片Token处理性能提升至2400TPS（每秒处理Token量），时延降至50ms，较年初1920TPS实现显著突破。
此次突破也发生在国内算力需求激增300倍的背景之下。过去18个月，中国AI算力需求呈现指数级增长。数据显示，2024年初中国日均Token的消耗量为1000亿，截至今年6月底，日均Token消耗量已突破30万亿，反映了我国人工智能应用规模快速增长，也对算力基础设施的需求提出了更大的挑战。
在以往按卡时计费的基础上，今年3月，华为云正式推出了基于MaaS的Tokens服务。针对不同应用、不同场景的性能和时延要求，还提供了在线版、进线版、离线版乃至尊享版等多种服务规格，为大模型、Agent智能体等AI工具提供了更为灵活、便捷、低成本的先进算力。
实际上，性能的突破考验的从不是单点的能力，而是从软件到硬件的全面重构，这恰恰是华为“大杂烩”能力的优势所在。
更为通俗的说，CloudMatrix384超节点架构就像是华为构建的一个“全自动化超级工厂”， 通过 UB 总线（超级传送带）连接 384 个 AI 芯片和 192 个 CPU，让数据像流水一样自由流动，彻底打破传统机房“服务器格子间”的物理限制。xDeepServe架构可以把大模型推理比喻成一个汽车组装车间，不同车间对应不同任务，有的专注语义理解，有的专注基础计算，有的专注专业任务，如果遇到复杂如长文本这类的任务，可随时给某个车间的公认加配NPU，避免资源浪费，最终实现单芯片的性能跃迁。另外，分布式引擎FlowServe会把CloudMatrix384 切成完全自治的 DP 小组，每个小组自带 Tokenizer、执行器、RTC 缓存与网络栈，完全自给自足，做到千卡并发也不“拥堵”。
目前，华为云MaaS服务已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify、扣子等主流Agent平台。
华为云积累了大量模型性能优化、效果调优的技术和能力，从而实现“源于开源，高于开源”，让更多大模型可以在昇腾云上跑得更快更好。
就在近日，国务院刚刚印发了《关于深入实施“人工智能+”行动的意见》，这意味着以Token为动力的智能社会已经到来，而华为云的系统级创新能力和全新的Tokens服务有助于AI加快落地。