MCU跑AI，谁更牛？

　　怎么快速判断一款芯片的AI处理性能？MLperf，一个由顶尖学术机构共同创立的权威国际AI性能基准测试平台，便是答案。该机构定期发布榜单，为我们提供了了解当前芯片发展动态的窗口。

　　自2021年起，MLperf引入了TinyML测试基准，专注于评估边缘AI系统的性能，特别是MCU等嵌入式设备的表现。

　　最近，MLCommons公布了MLperf Tiny v1.2的测试结果。那么，哪些MCU芯片在此次测试中脱颖而出，占据了榜首位置呢？

　　在MLPerf Tiny基准测试中，测试套件聚焦于小于100kB的“微小”神经网络的推理用例，采用公平且可重复的方式进行，以评估处理来自传感器（包括音频和视觉）的数据的能力，旨在为低功耗设备提供端点智能。

　　此次测试共收到91项整体性能结果，包括博世、K Jiang、高通、瑞萨、意法半导体、Skymizer和Syntiant等提交的成果，涵盖了深度自动编码器、DSCNN、MobileNetV1 0.25x、ResNet-V1等四项测试基准。其中，高通骁龙Gen 3在各项基准测试中均位居第一，展现了其在TinyML领域的强大实力。而针对MCU芯片，瑞萨EK-RA8D1以综合性能最优的表现夺得了榜首，其在深度自动编码器和ResNet-V1处理能力上均表现出色。

　　此外，ST NUCLEO-H7A3ZI-Q、ST NUCLEO-L4R5ZI和ST NUCLEO-U575ZI-Q也分别位列二至四名，这些产品均采用了Arm Cortex内核，且按照M7、M4、M33的顺序排列，这与Arm的处理器分级体系相吻合。

　　值得注意的是，由于芯片性能差异较大，单从推论时间和能耗的角度进行比较可能并不完全公平。因此，这些测试结果更多是作为参考，实际应用中的表现才是关键。

　　TinyML正在成为MCU领域的重要趋势。AI和大模型的发展正在改变各行各业，它们不仅改变了服务器端的应用，也影响了边缘端。随着物联网的兴起，每个设备都希望能独立处理任务，而无需频繁向服务器请求指令。因此，TinyML成为了将AI应用带到边缘设备（如智能手机、可穿戴设备、汽车和物联网设备等）的关键技术。

　　TinyML的最大优点在于其可移植性。在具有小电池和廉价MCU上运行TinyML算法意味着可以容易地将ML以低廉的成本集成到几乎任何设备中。TinyML的工作机制与传统机器学习模型相似，但真正发挥优势的是在训练后的处理阶段，通常称为“深度压缩”。

　　目前，TinyML仍处于起步阶段，专家数量有限。然而，可以预见的是，这一领域正迎来新的发展趋势。各大厂商如ST、NXP、Microchip、Renesas、TI和Infineon都在加大布局边缘AI的力度。例如，ST发布了STM32Cube.AI工具并收购了NanoEdge AI Studio以降低边缘AI的开发门槛；NXP推出了eIQ®机器学习软件并持续加大AI/ML投入；Renesas收购了美国从事机器学习模型开发的Reality AI公司等等。

　　尽管增加模型参数量是大模型发展的方向之一，但设计出内存、计算和能源效率更高的算法也是新的趋势。目前TinyML仍在起步阶段但未来可期。