向AI进化:带NPU的MCU

AI百科4个月前发布 快创云
44 0

无AI,不终端,如今AI向边缘下沉已成为大势所趋。边缘AI处理器需要在具备高运算效率的同时,具备低成本、低功耗等特性,而要实现这一构想,MCU无疑是最佳选择之一。通过将AI功能集成到MCU上,AI算法可在本地进行实时处理和响应,无需依赖云端或其他远程服务器,使设备能够更迅速地做出决策和反应,且能在低功耗条件下实现高效的AI计算。据预测,到2025年,75%的数据将在边缘侧进行处理,端侧AI MCU市场潜力巨大。

▲ 2025—2026全球主要市场领域中具备边缘机器学习能力的设备总出货量AI算力离不开NPU所有落地AI应用,都需要硬件的算力支持,而算力的提升,则离不开NPU(Neural-network Processing Unit,神经网络处理器)。它是一类基于DSA (Domain Specific Architecture) 领域专用架构技术的专用于人工智能(特别是人工神经网络、机器视觉、机器学习等)硬件加速的微处理器。相比于CPU、GPU,NPU在硬件架构上更适合神经网络运算。通用处理器的计算能力提升大部分不能直接转化为神经网络处理能力的提升,而NPU针对神经网络设计,无需考虑神经网络并不需要一些计算单元。相较于CPU擅长处理任务和发施令,GPU擅长进行图像处理、并行计算。NPU更擅长处理人工智能任务,通过突触权重实现存储和计算一体化,提高运行效率。很多支持AI应用的消费类处理器里,都有NPU的身影,比如苹果的A15、特斯拉的FSD芯片、地平线的征程系列芯片、OPPO的马里亚纳X芯片等等。而随着AI向边缘下沉,MCU产品也开始集成NPU模块。MCU的CPU核并不适合做AI和ML运算,这将会极大地占用其计算资源,也会带来功耗的上升,从系统角度来看并不合适。因此,在通用MCU中添加一个硬件NPU,成为了解决问题的优选,让CPU核专注于自己擅长的计算任务,将AI ML的运算交给NPU。

实际上,MCU大厂们早就开始布局了。让我们看看目前市场上有哪些带NPU或AI加速功能的MCU。恩智浦MCX N系列:集成自研硬件NPU去年末,NXP推出MCX N微控制器产品,这是一个融合了LPC和Kinetis传统优势的通用MCU平台,在通用MCU中增加了一个NXP自研硬件NPU,以专门加速边缘通用的AI运算。NPU作为CPU的AI运算协处理器,其内部拥有专门的计算通道。

未来,该NPU还可以扩展到更高的性能或更小的单元。NXP整个MCU、MPU家族都会采用统一的NPU架构,提供更高性能的NPU加速器,同样的算法也更容易从MPU迁移到MCU平台上。

▲MCX N94x框图MCX的应用场景是针对MCU现有应用场景的拓展,如在医疗设备、无人机,或者工业控制中加上智能识别、故障检测、控制等应用;也衍生出很多新应用,如日常生活中识别物体的秤;医学中检测含疟疾的红细胞;交通出行中帮助汽车识别障碍,自动做出判断和处理等等。

近日,NXP宣布与Aptos-Eta Compute合作,将其以人工智能为核心的芯片和软件工具集成到Aptos的MLOps平台上。Aptos可以针对该芯片优化和调整人工智能模型,从而实现更高的模型效率和性能,简化低功耗边缘处理器的模型、部署和管理。意法半导体STM32N6:集成自研硬件NPU2025年,ST推出了带有NPU神经网络硬件处理单元的通用微控制器——STM32N6,ST首款带有神经处理单元硬件加速器的MCU。据称与其STM32MP1微处理器相比,这款MCU的推断速度提高了25倍。其中NPU单元并不是来自Arm发布M55时配套的U55的NPU核,而是ST自己研发的NPU IP——Neural-Art加速器。为展示STM32N6的算力优势,ST在STM32H747(Cortex-M7,480MHz)套件上和在STM32N6板上同时运行YOLO衍生神经网络,演示结果显示,在最大运行频率不到STM32H7 的2倍时,STM32N6处理的帧数是STM32H7的75倍。

▲YOLO衍生神经网络演示演示还显示,执行人员检测和定位任务几乎占用了STM32H7所有的处理能力,没有剩余资源进行屏幕刷新。相比之下,基于STM32N6的显示器则超级流畅、响应灵敏,可以完美地跟随个人的动作。这是因为STM32N6将其AI计算任务重定向到ST Neural ART加速器™以及STM32N6的机器视觉流水线的预览功能,使Cortex-M核能够灵活处理其他任务。ST还为该产品添加了新IP和外设,如MIPI CSI摄像机、机器视觉图像处理器(ISP)、H.264视频编码器和支持时间敏感网络(TSN)端点的千兆以太网控制器。此外,STM32N6是一款通用STM32产品,符合工业客户的所有要求,包括在高温环境中工作。在生态系统方面,STM32Cube.AI可用于在任何STM32上优化映射神经网络,STM32N6也不例外。该工具自动将所有支持的操作和层映射到神经处理单元,以最大限度地提高推理的效率。未来,ST还会将STM32N6板添加到STM32Cube.AI者云平台中。

此外,ST的软件工具STM32CubeMX中也集成了AI模块,可以方便客户将训练好的AI模型转换为MCU上运行的软件。ST通过STM32Cube.AI和NanoEdge AI Studio软件工具,并整合NIVIDIA TAO和STM32Cube.AI工具,让者在STM32微控制器上无缝地训练和实现神经网络模型。英飞凌PSoC Edge系列:板载ML硬件加速英飞凌也于近日推出PSoC Edge系列微控制器,为边缘操作机器学习的设备提供高性能和安全性。▲PSoC Edge 系列MCU框架除了支持Cortex-M55 DSP和Ethos-U55 NPU之外,PSoC Edge系列MCU板载ML硬件加速,集成了英飞凌专有的神经网络硬件加速器NNLite,能够用于需要响应计算和控制的各种应用,包括智能家居、可穿戴设备和人机交互设计。为了更好支持AI功能,英飞凌还推出了ModusToolbox机器学习工具,能够快速评估ML模型并将其部署到英飞凌MCU上。为支持汽车人工智能和车辆虚拟化的趋势,英飞凌还与新思科技合作推出了针对AI加速的Aurix TC4x平台,该MCU集成了一个高性能AI加速器,称为并行处理单元 (PPU),由Synopsys DesignWare ARC EV处理器IP提供支持。PPU具有实时处理性能,可加速循环神经网络、卷积神经网络和多层感知器等AI算法。

2025年5月,英飞凌收购初创Imagimob AB,以提升其微控制器和传感器上的TinyML边缘AI功能。瑞萨电子RZ/V2MA系列:内置独家硬件加速器去年,瑞萨推出了内置视觉AI加速器的RZ/V2MA系列产品,实现了精确图像识别和多摄像头图像支持功能。RZ/V2系列是一种内置瑞萨电子独家硬件加速器 “DRP,动态可配置处理器-AI”的AI专用微处理器。DRP-AI专为嵌入式机器视觉类AI/ML应用优化设计,可提供实时AI推理和图像处理功能,同时兼具了高AI推理性能和低功耗特性,家族化产品支持0.4~80TOPS不等的可扩展AI算力,为资源有限的嵌入式端侧AI应用提供差异化有竞争力的解决方案。近日,瑞萨电子再次推出强大的RA8系列MCU,新型RA8系列MCU部署了Arm Helium技术,即Arm的M型向量扩展单元。相比基于Arm Cortex-M7处理器的MCU,该技术可将实现数字处理器(DSP)和机器学习(ML)的性能提高4倍。

在AI软件方面,瑞萨电子也在持续布局,去年中旬完成对Reality AI的收购,可为汽车、工业和消费类产品中的高级非视觉传感提供嵌入式AI和微型机器学习(TinyML)解决方案。ADI MAX7800X系列:集成硬件CNNADI推出的边缘AI解决方案MAX7800X系列MCU,由两个微控制器内核(ARM Cortex M4F和RISC-V)加上一个卷积神经网络(CNN)加速器构成。这一架构针对边缘AI应用进行了高度优化,数据的加载和启动由微控制器内核负责,而AI推理由卷积神经网络加速器专门负责。据了解,ADI的边缘AI解决方案具备速度快、无需外部存储、时钟控制灵活和超低功耗等四大特色,因此对于需要使用电池供电、需要及时决策的物联网设备来说特别合适。

对比传统MCU+DSP的方案,ADI的MAX7800X的CNN加速器可以将功耗降低99%以上,而且算法在CNN上执行的效率也比DSP上更高。对于单纯采用微控制器的方案,MAX7800X的CNN加速器具备更高的数据吞吐量,可以将速度提高100倍以上。Arm:在内核上加NPU作为众多MCU芯片厂商的内在赋能者,Arm近年来连续发布了带有算力的内核MicroNPU Ethos U55、U65等系列。 Arm在短时间内连续发布两代针对MCU的microNPU,一方面说明MCU市场对于AI和AI加速器确实有很强的需求;另一方面也表明MCU和MPU甚至CPU之间的性能差距正在缩小,这将为未来智能MCU生态带来新的变化。从通用MCU到IoT MCU,再到具备AI特质的MCU,微控制器的发展与整个消费电子设备的演进浪潮紧密相连。MCU的进化需要兼顾硬件和软件两个方面。在硬件层面,要求更高的处理能力、更多的安全组件、多种连接能力以及更低功耗;在软件层面,操作系统从任务调度发展为IoT OS平台,软件复杂度大幅增加,需要平台级软件及工具;在生态系统层面,各种云服务进入嵌入式系统生态圈,并且与算法、纯软件合作增多。这就是NXP、ST、瑞萨电子、英飞凌等MCU大厂在不断加码MCU+AI的同时,也在加强AI软件和生态系统建设与产业合作的原因。你觉得未来的MCU,还会集成什么?

© 版权声明

相关文章