1.写在前面
近期爆火的国产AI大模型DeepSeek,除了在具备显卡的电脑、服务器上部署,也可以在手机上安装部署体验,对于没有电脑的朋友,可以在手机上安装体验国产第一的AI大模型。
众所周知,iPhone手机的内存比金贵,整机内存较小,由于大模型会占用较多的内存,内存过小时会出现卡顿甚至卡死的情况,因此本次选用内存较大的安卓手机来实验测试。
2.安装PocketPal AI
PocketPal AI 是一款创新的人工智能应用程序,能在手机上实现强大的 AI 交互功能。它基于先进的 Locofy 技术开发, 旨在革新人们与 AI 交互的方式。
PocketPal AI具备以下特点:
离线使用:无需网络连接,直接在设备上运行语言模型,确保用户在任何环境下都能随时使用 AI ,同时保障数据隐私,因为所有对话都在本地处理,数据不会离开设备。
模型多样:支持下载和切换多种小型语言模型(SLMs),如 Danube、Phi、Gemma、Qwen 等,满足不同用户对语言处理能力和风格的需求。
智能内存管理:当应用切换至后台时,会自动卸载模型以节省内存,再次打开应用时模型又会自动重新加载,保证设备流畅运行。
获取PocketPal AI的安卓手机安装包可以通以下开源地址下载,也可通过我的分享链接直接获取,获取方式见文末。
https://github.com/a-ghorbani/pocketpal-ai
安装完成后,软件图标如图所示:
3.加载模型
在手机上安装PocketPal-AI软件,安装完成后,点击右下角的“Go to Models”
选择下载好的DeepSeek Model文件,Model文件获取可参看上一篇文章:Ollama加载离线DeepSeek R1大模型教程,再也不用担心无网部署了
手机上建议使用7b以下的模型文件,若内存小于8G,可尝试先用最低精度的模型测试。点击“Add Local Model”添加本地模型。
我这里以1.5B模型为例子,使用坚果R2(Qualcomm Snapdragon 865/内存8GB/闪存256GB/安卓11)演示,其它模型可以自行尝试。
点击后稍等一会,等待系统在后台完成模型导入(如果没有出来,需要多等待一会)。
点击Load,加载本地1.5b模型。
加载完成后出现对话框,即可进行对话操作。
尝试问几个问题,反应速度挺快的。
4.总结
本次使用DeepSeek 1.5b模型成功在手机上运行,在思考时具备深度思考能力,折腾成功!
获取PocketPal-AI手机软件包,请在微信公众号【运维贼船】私信回复关键字 “a0002” 。
当然PocketPal-AI软件也可以上iPhone上安装,使用同样的方式加载,由于内存原因,整机系列运行较卡,若具备iPhone 14 Pro以上设备,可以尝试。
声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/424978.html