我们前面介绍了通过在线方式部署本地的DeepSeek-R1模型(帮你省20块!仅需2条命令即可通过Ollama本地部署DeepSeek-R1模型),默认情况下,Ollama会被安装到C盘的用户目录下,例如:
C:\Users\%username%\AppData\Local\Programs\Ollama
而模型文件也会被保存到C盘的用户目录下,例如:
C:\Users\%username%.ollama\models\blobs
我们可以在安装时使用命令行更改安装路径,而模型的保存路径则需要单独修改,建议安装之前就进行调整。
模型的保存路径需要通过修改环境变量实现,在环境变量的“系统变量”部分,点击“新建”,变量名输入“OLLAMA_MODELS”,变量值填入我们期望的模型保存路径,例如“C:\ollama\models”。
然后点击两次“确定”保存更改。
接下来,我们使用以下命令行安装软件并更改安装路径:
.\OllamaSetup.exe /DIR=”C:\ollama\”
在弹出来的Ollama安装对话框中,点击【Install】开始安装程序。
在这里我们已经可以看到安装路径已经变了。
等待软件安装完成之后,界面会自动关闭。此时,模型文件夹就修改到我们手工设置的路径下了。
检查一下安装后的空间,占用磁盘大小为4.56 GB,再考虑到模型的存放,请合理安排安装路径和模型存放路径。
我们前面已经介绍过了如何通过命令自动下载并加载模型(帮你省20块!仅需2条命令即可通过Ollama本地部署DeepSeek-R1模型),可能有些有伙伴的网络不太好,这时可能就需要手工导入模型了。
有两种方式,第一种是直接把下载好的文件拷贝过来,不过这种模式的文件名不太友好。
模型在下载时会下载5个文件,分别是model(模型架构)、params(模型参数)、template(输入输出格式)、license(软件许可证文件)和校验文件,前面4个对应模型列表中的文件。
通过文件名我们已经看不出来谁是谁了,只能通过文件大小来简单判断。
除了这里的4个,还有一个校验文件,里面记录了模型的简要信息,以及其他4个文件的sha256校验值。
如果我们将这些文件直接拷贝到模型下载路径下面,在命令行执行下载命令即可快速完成加载。
缺点也是显而易见,就是如果准备了多个模型,文件的区分将是个大问题。
那接下来,我们换个思路,从校验文件中我们已经知道模型的格式为gguf,参数规模为1.8B,那我们将文件名修改一下;同时,创建一个Modelfile文件来描述模型的信息,文件内容如下:
FROM C:\ollama\models\blobs\deepseek-r1-1.8b-Q4_K_M.gguf
然后使用以下命令手动在Ollama中导入模型:
ollama create deepseek-r1-1.8b -f C:\ollama\models\blobs\Modelfile-deepseek-r1-1.8b.txt
此时,我们可以看到,之前的1.5b版本已经以崭新的1.8b形态面世了。
接下来,我们使用以下命令运行模型:
ollama run deepseek-r1-1.8b
我这里用了一个没有GPU的服务器,仅仅靠CPU也能比较顺畅的回答。
当然,如果想通过界面进行对话,也可以使用ChatBox,这是一款开源的桌面客户端,它旨在为用户提供一个便捷的方式与多种AI模型进行交互,如ChatGPT、Claude、Google Gemini Pro等。下载链接如下:
https://download.chatboxai.app/releases/Chatbox-1.9.8-Setup.exe
下载之后直接安装即可,完成安装之后运行客户端,在AI模型提供方这里,我们选择【使用自己的API Key或本地模型】。
提供方的选项有Ollama API和DeepSeek API两个选项,我们选择【Ollama API】。
在设置界面,API域名使用默认的即可,选择一个合适的模型,比如选择新建的1.8b版本,点击【保存】。
然后就可以在对话窗口开始聊天了。
对话过程中消耗的CPU还是比较大的,占用了64个核心,估计也是和底层的分配有关系,我分配的是128个核心,但是单物理CPU只有44个核心,所以只能是以32*4的形式分配。至于这里为啥只能用到一半?那就得问问开发人员了。
当然,本地CPU版本的性能会比较差,我又拿了一道数学题问了一下,算了一个多小时还没算明白。
可以看到,他开始的时候理解就出了问题,但是他坚持不懈地算了一个多小时,也停不下来,我都没办法纠正他。
好了,本次部署用到的文件我已经上传到云盘了,后台回复“deepseek”获取分享链接。
推荐阅读
帮你省20块!仅需2条命令即可通过Ollama本地部署DeepSeek-R1模型
成了!Tesla M4+Windows 10 + Anaconda + CUDA 11.8 + cuDNN + Python 3.11
一个小游戏里的数学问题,难倒了所有的人工智能:ChatGPT、DeepSeek、豆包、通义千问、文心一言
目前来看,通义千问好像勉强能和ChatGPT-3.5打个平手!
快,跑快点,ChatGPT-4模型免费用了
Ubuntu使用Tesla P4配置Anaconda+CUDA+PyTorch
Zabbix实战第一步:完成在Ubuntu Server的安装部署
Ubuntu磁盘空间不足或配置错误时,如何操作扩容?
Ubuntu安装、配置、操作、测评MySQL数据库全体验
当你买了一台Linux云主机,应该如何测试主机性能?
没有图形界面,如何快速部署一个Ubuntu 24.10的Server虚拟机
清华大模型ChatGLM3在本地Tesla P40上也运行起来了
一起学习几个简单的Python算法实现
用轻量应用服务器的注意了,0.5GB内存的规格请谨慎使用
声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/424929.html