小白可上手,私有化Deepseek R1(实操文档)

最近Deepseek R1真的是太火了!这么厉害的大模型还能开源,看得我心痒痒,特别想本地部署一个,用来开发自己的小应用。于是我自己试了一下,部署过程也不是很困难,只要满足硬件条件,小白也能轻松上手。接下来分享一下我的部署过程:

硬件条件:

7B模型

适用场景:轻量级任务(如文本分类、基础问答)、低资源环境或开发测试。
最低配置:
CPU: 4核(支持AVX2指令集)
内存: 16GB DDR4
存储: 50GB SSD(模型文件约10-20GB)
网络: 1Gbps(仅本地推理可不依赖高速网络)
CPU: 8核(如Intel Xeon Silver/AMD Ryzen 7)
内存: 32GB DDR4
GPU(可选): NVIDIA T4(16GB显存)或RTX 3090(24GB显存)
存储: 100GB NVMe SSD
推理速度: 单卡GPU可支持实时响应(<1秒/请求)。

我使用的是自己买的云服务器,操作系统是Linux,其他操作系统的教程大家可以在网上自行搜索

部署步骤

介绍:Ollama是一个开源的大型语言模型服务工具,旨在简化在本地计算机上部署和管理大型语言模型(LLMs)的过程,推荐大家先安装这个工具,以后不管是切换哪个AI模型,用这个工具都很方便。‌

1.下载安装docker

sudo apt update
sudo apt install docker.io
sudo systemctl start docker
sudo systemctl enable docker
2.用docker下载ollama的镜像(这一步用的时间可能较长)

docker pull ollama/ollama
3.进入docker运行ollama

docker run -d –name ollama -p 11434:11434 ollama/ollama

备注:

-d: 这个参数表示以“detached”模式运行容器,即让容器在后台运行。
–name ollama: 这个参数为容器指定一个名字,这里命名为 ollama。
-p 11434:11434: 这个参数用于端口映射。它将容器内的端口 11434 映射到宿主机的 11434 端口。这意味着你可以通过宿主机的这个端口访问容器中的应用程序。
4.通过以下命令检查容器是否已经成功启动:

docker ps
5.启动后进入这个容器:

docker exec -it ollama /bin/bash
6.在容器环境中启动ollama:

ollama serve
7.用ollama安装大模型(这一步可能用时较长):

这里因为我的服务器配置比较低,只有8g内存,我就只下载了最小的1.5B模型。如果大家想下载更高配置的模型,把命令后面的参数换掉就可以了。

ollama run deepseek-r1:1.5b
8.直接试用大模型

下载成功后会自动出现对话提示符,可以直接开始与大模型对话:

9.尝试通过URL访问大模型

curl http://localhost:11434/api/generate -X POST -d ‘{“prompt”:”Hello, how are you?”, “model”: “deepseek-r1:1.5b”}’ -H “Content-Type: application/json”

这个curl命令就是尝试从外部通过API调用的方式访问大模型,大家可以把localhost替换成自己的ip。如果这个命令成功了,那么我们也可以在自己的应用中访问服务器上私有部署的Deepseek R1!

声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/424755.html

联系我们
联系我们
分享本页
返回顶部