1.写在前面
在部分不能联网的场景下,我们往往使用离线版本的大模型进行配置使用,而既有的教程均是通过在线拉取大模型至本地,缺少离线使用教程,因此演示Ollama加载使用本地大模型的方法。
2.下载离线大模型
下载离线的DeepSeek R1大模型可以通过魔搭社区(在线地址如下)或直接通过我分享的大模型分享链接下载,获取方式见文末。
https://www.modelscope.cn/home
分享的链接中大模型离线文件以“gguf”为文件扩展名,可以根据需要对应下载所需要的文件。
比如我以体积最小的DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf为例,将其下载到任一文件目录下,我这里存放至D:\Ollama\模型\DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf下,如下图所示。
同时,为了导入Ollama中,需要使用Modelfile文件指定模型信息,方法如下:在D:\Ollama中建立Modelfile文件,使用文本文档填入以下内容:
FROM D:\Ollama\模型\DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
FROM 后面为模型的绝对路径。
然后在地址栏里输入CMD,打开命令提示符窗口。
执行:
ollama create deepseek-r1:1.5b -f Modelfile
此时模型已经成功加载
运行正常,只是这1.5b模型精度简直……已读乱回,所以企业私有化部署,建议使用32b版本及以下,会获取更高的精度与使用体验。
如果想获取离线版本的私有大模型,请在公众号【运维贼船】后台,回复关键字“1010”即可获取。
声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/424966.html