在前天，国内最高规格的AI产业盛会第七届世界人工智能大会（WAIC 2024）开幕，展区已成“大模型”主场，各路玩家隔空斗法。
既有闻名业界的通用大模型大秀生成、理解能力，在金融、医疗等诸多领域施展拳脚的行业大模型，还有能直接部署在PC、服务器等边缘设备的端侧大模型效果惊艳。
可以看到从去年至今，大模型产业的发展焦点正在从技术突破向落地应用外延。一方面，通用大模型表现惊艳，另一方面，距离用户更近且性能已经足够强大的端侧大模型呈现出规模化应用潜力。
在这之中，随着技术的成熟和应用场景的拓展，端侧大模型市场已经成为AI领域的一个重要增长点，而端侧大模型走向落地部署背后的一个关键角色就是底层芯片玩家。
WAIC上，一家清华系GPGPU创企的展台上，我们看到其AI加速卡AzureBlade K340l已经可以支撑大模型跑在AI PC等设备上，并已经适配Llama 3-8B、Stable Diffusion、通义千问等开源模型。
这家创企的技术实力不容小觑。本月初，芯动力科技团队联手帝国理工、剑桥大学、清华大学、中山大学等顶尖学府的计算机架构团队，共同撰写的论文《Circular Reconfigurable Parallel Processor for Edge Computing》（RPP芯片架构）成功被第51届计算机体系结构国际研讨会（ISCA 2024）的Industry Track收录。
据了解，Industry Track的录取接收率仅为15.3%。同时，芯动力科技还受邀在ISCA 2024会议上发表演讲，与Intel、AMD等国际知名企业同台交流。
在WAIC上，我们可以看到以芯动力科技为代表的国内AI芯片玩家，已经亮出了诸多技术成果与案例演示，为端侧大模型部署落地装上了加速引擎。
01.
“六边形战士”RPP架构
破局边缘大模型落地
大模型加速落地应用现在已经成为共识，不过通用大模型很难理解企业的真实痛点，让企业真正用上大模型实现降本增效是当前的重中之重。
但相比于面向消费者的AI工具，企业对于大模型能力的要求更高，除了大模型本身的性能表现需要足够优越外，还有更为重要的几点就是数据安全、响应够快，这也是跑在云上的大模型缺少的。
因此边缘大模型脱颖而出，因为边缘设备距离企业的业务或者用户本身距离更近，且能够支持本地私有化部署保证用户的数据安全。与此同时，底层的AI芯片就称为AI落地边缘端的必要条件。
这也导致边缘大模型部署对AI加速卡的特性提出了更高要求。因为边缘端往往只有一个独立设备，因此就需要芯片需要同时兼顾体积小、性能强、功耗低。当下Llama系列、通义千问等开源模型，已经在较小的参数规模下达到了较好的性能，能够实现很好的文升文、文生图效果。这也为大模型在端侧落地提供了机会。
还有更为重要的一点是，大模型的技术突破仍在不断革新。为了让大模型在资源有限的设备上部署，大模型量化部署精度正在从8bit向4bit支持，大模型的快速演变对芯片研发的长周期，大投入提出了不小的挑战。
这些难题在对芯片的性能及灵活性提出不小挑战的同时，也是大模型落地的必要条件。对于众多专用芯片来讲，这意味着需要开展全新的芯片设计工作，而对芯动力科技可重构并行处理器架构（RPP）来讲，则仅需进行一次软件开发即可。在面对边缘大模型落地所面临的难题时，芯动力科技的RPP架构展现出其固有的天然优势。
在生成式AI日新月异的应用场景中，唯一不变的就是变化本身。芯动力构建的通用性生态决定了，未来若出现除Transformer以外的新型算法基底，RPP架构将能够迅速完成算法的兼容与优化，而无需改变硬件架构。这使得RPP架构拥有更持久的生命力和更广阔的市场前景。
RPP架构是针对并行计算设计的芯片架构，芯动力将其称作“六边形战士”。这一架构既结合了NPU的高效率与GPU的高通用性优势，更具备DSP的低延时，可满足高效并行计算及AI计算应用，如图像计算、视觉计算、信号处理计算等，大大提高了系统的实时性和响应速度。
芯动力首款基于可重构架构的GPGPU芯片RPP-R8每颗芯片内含有1024个计算核，相比传统GPU架构在同样的算力占用更小的芯片面积，实现了低功耗和高能效的有效平衡。RPP-R8除了具备专用芯片所没有的通用编程性，面积效率比可达到同类产品的7～10倍，能效比也超过3倍。