手机本地部署DeepSeek?实测真能用:AI隐私有保障了

AI百科3周前发布 快创云
15 0

DeepSeek的移动端探索:在智能手机上部署大型AI模型

  又到了雷科技的DeepSeek探索时间。我们曾尝试在一台没有独立显卡的笔记本上,仅依靠CPU和内存来部署DeepSeek,并成功运行了一个7B参数的Qwen蒸馏模型。尽管部署要求简单,但表现平平,且实际价值有限。然而,如果将这个AI模型部署到手机上,或许会有不同的体验。虽然7B参数的AI模型在工作上帮助不大,但作为一款随身AI助手,其表现或许会更加出色。

  为了在手机上部署AI,我们尝试了几种不同的方法。首先,我们参考了“天极网”在百度上发布的教程,该教程通过名为Termux的app在安卓手机上模拟一个Linux终端,并部署Ollama,然后下载DeepSeek模型并运行。简单来说,就是将电脑上的DeepSeek部署方案移植到手机上。由于是通过终端模拟器运行,实际效率会稍打折扣。

  虽然全程只需输入命令即可自动进入下一步,但面对满屏的代码,很多人可能会望而却步。在折腾了约两个小时后,我遇到了一个服务器问题:教程中提到的清华大学镜像文件源无法访问,只剩下几个按大洲和区域划分的服务器可选。尽管我尝试了不同的网络,但始终只有八个服务器在线。随后,我尝试了亚洲和中国骨干网络的两个镜像源,但在Ubuntu安装步骤中均出现了卡死、下载速度慢且可能中途报错的问题。

  在尝试了多个方案后,我选择了另一个更简略的部署方案:直接下载ollama并在本地运行。然而,如果没有特殊网络支持,可能会无法开启下载,即使开启下载后也可能卡在软件部署过程中。因此,如果你打算使用Termux实现最原始的AI大模型部署,可能需要具备一定的debug能力和良好的网络支持。

  不过,幸运的是,现在有许多开源的本地AI部署app可供选择。我测试了三款:ChatterUI、PocketPal和MNN大模型。这些app各有优劣,你可以根据需要自行选择。

  其中,ChatterUI和PocketPal支持直接加载本地AI模型,并允许通过在线下载的方式远程加载模型到本地系统。如果你拥有电脑,最好直接在电脑上下载模型再复制到手机中,以便根据需要更换模型,避免手机内存被大量模型占用。魔塔社区是一个由阿里达摩院运营的AI模型社区,其模型库涵盖了大部分开源的AI模型及其衍生版本,并对模型进行了详细分类。注册并登录后,你可以选择适合你的AI模型。对于内存小于12G的设备,建议选择Qwen 2.5-3B和LLama-3.2-3B两个版本的AI模型;对于12G及以上的设备,则可以选择DeepSeek-R1-7B版本。

  安装好app后,你可以通过简单的操作来加载和部署AI模型。例如,ChatterUI支持TTS(语音输出)功能,结合语音输入可以解锁更多的使用场景和方式。通过侧边栏的「Formatting」和「Models」选项,你可以轻松加载和切换AI模型。而PocketPal则更为简单直接,只需在侧边栏的「Models」中添加本地AI模型即可。

  在体验环节,我还下载了1.5B版本的DeepSeek-R1进行对比测试。虽然理论上1.5B的版本可以被部署到8G甚至6G内存的手机里,但其表现却让我大吃一惊。在询问AI身份时,它竟然进行了一番深度分析并给出了“没有实体存在”的结论!这种回答让我怀疑可能是app的接口设置出现了问题。然而无论如何这显示出DeepSeek“发散性思维”的特点确实有趣(或者令人困惑)。当然在后续的追问下这个1.5B的模型很快露出了马脚开始前言不搭后语答非所问彻底变成了被玩坏的状态但在切换成7B版本后AI就轻松给出了正确的回答并回答了一些实际问题如急救方法和自救技巧等。

  总的来说在手机上部署大型AI模型虽然存在挑战但确实有其意义尤其是在无网且需要帮助时离线AI可以提供宝贵的建议和支持。对于追求稳定可用的用户MNN是最好的选择而在测试中其回答质量也最为稳定而ChatterUI和PocketPal虽然功能丰富但也更容易出现BUG适合有一定AI基础和编程基础的人使用。希望这次分享能让大家更好地理解和利用手机上的AI技术享受科技带来的便利与乐趣!

© 版权声明

相关文章