我们用一颗CPU跑AI，让轻薄本自己写代码、作图…

　　随着AI的兴起，笔记本PC也开始加入生成式AI的行列。芯片厂商纷纷在处理器中增加NPU单元，OEM厂商也为AIPC的宣传蓄势待发。Intel在这几个月里，其不同业务部门的媒体活动都或多或少地将注意力放在AI上，尤其是CCG业务，从年初就开始宣传没有独显的笔记本PC也能跑生成式AI。

　　对于端侧PC，尤其是轻薄笔记本能否运行生成式AI，很多人可能存在疑问。实际上，跑AI主要包括AI训练和推理两件事。大型模型的训练通常需要服务器集群，而用户与ChatGPT等模型的对话则属于推理过程，也可能需要相当大的算力。不过，许多小模型的推理并不需要高算力，很多端侧IoT嵌入式设备也强调AI推理特性。在PC上跑生成式AI，通常指的是对生成式模型进行AI推理。

　　为了验证PC运行生成式AI的潜力，我们亲自使用了一台采用13代酷睿处理器、没有独显的轻薄本（联想Yoga14sPro）进行测试。结果显示，这台笔记本在性能释放上并不像一个传统的轻薄本，而是更像一台高性能的全能本。为了充分发挥酷睿i9-13900H的性能，官方配备了100W的电源适配器。

　　在性能测试中，我们使用了Cinebench R23测试来比较13代酷睿和12代酷睿的性能差异。结果显示，联想Yoga14sPro相比戴尔灵越14 Plus有约16%的性能优势。此外，Yoga14sPro在持续性能表现上也更为出色，第15轮测试仍然发挥出了首轮92%的性能。

　　在跑ETHAIBenchmark测试时，我们遇到了各种实际问题，如依赖包版本过老等。因此，该测试仅作为参考。我们最终在Windows 11的WSL（Windows Subsystem for Linux）里用Ubuntu 20.04.6 LTS系统完成了测试。结果显示，i9-13900H相比i7-12700H在AI运行速度上有显著提升。

　　接下来，我们测试了StableDiffusion和LLM大语言模型。在跑StableDiffusion时，我们使用了Intel提供的GIMP插件和OpenVINO加速工具。结果显示，在仅使用CPU的情况下，生成一张512×512的图片需要约50秒。而使用GPU加速时，推理时间可以大幅缩短。

　　对于LLM大语言模型，我们测试了ChatGLM、Llama和StarCoder三个模型。结果显示，除了最后一个问题外，其余问题的首个token生成时间都在可接受的范围内。不过，由于模型针对相同问题作答的响应时间每次都不大一样，因此这份数据的参考价值可能较低。

　　总的来说，PC能跑生成式AI已经不再是新闻。Intel在构建AI生态方面下了不少工夫，从云到端、从算力基础到上层解决方案都在努力。尽管市场竞争激烈，但聚拢PC市场基础、扩展软件生态仍然大有可为。这篇文章希望为读者构建起PC跑生成式AI的基本概念，并为对AI感兴趣的同学提供基础内容索引。未来我们将持续改进PC平台之上的AI测试工具与流程。