最近Deepseek R1真的是太火了!这么厉害的大模型还能开源,看得我心痒痒,特别想本地部署一个,用来开发自己的小应用。于是我自己试了一下,部署过程也不是很困难,只要满足硬件条件,小白也能轻松上手。接下来分享一下我的部署过程:
硬件条件:
7B模型
适用场景:轻量级任务(如文本分类、基础问答)、低资源环境或开发测试。
最低配置:
CPU: 4核(支持AVX2指令集)
内存: 16GB DDR4
存储: 50GB SSD(模型文件约10-20GB)
网络: 1Gbps(仅本地推理可不依赖高速网络)
CPU: 8核(如Intel Xeon Silver/AMD Ryzen 7)
内存: 32GB DDR4
GPU(可选): NVIDIA T4(16GB显存)或RTX 3090(24GB显存)
存储: 100GB NVMe SSD
推理速度: 单卡GPU可支持实时响应(<1秒/请求)。
我使用的是自己买的云服务器,操作系统是Linux,其他操作系统的教程大家可以在网上自行搜索
部署步骤
介绍:Ollama是一个开源的大型语言模型服务工具,旨在简化在本地计算机上部署和管理大型语言模型(LLMs)的过程,推荐大家先安装这个工具,以后不管是切换哪个AI模型,用这个工具都很方便。
1.下载安装docker
sudo apt update
sudo apt install docker.io
sudo systemctl start docker
sudo systemctl enable docker
2.用docker下载ollama的镜像(这一步用的时间可能较长)
docker pull ollama/ollama
3.进入docker运行ollama
docker run -d –name ollama -p 11434:11434 ollama/ollama
备注:
-d: 这个参数表示以“detached”模式运行容器,即让容器在后台运行。
–name ollama: 这个参数为容器指定一个名字,这里命名为 ollama。
-p 11434:11434: 这个参数用于端口映射。它将容器内的端口 11434 映射到宿主机的 11434 端口。这意味着你可以通过宿主机的这个端口访问容器中的应用程序。
4.通过以下命令检查容器是否已经成功启动:
docker ps
5.启动后进入这个容器:
docker exec -it ollama /bin/bash
6.在容器环境中启动ollama:
ollama serve
7.用ollama安装大模型(这一步可能用时较长):
这里因为我的服务器配置比较低,只有8g内存,我就只下载了最小的1.5B模型。如果大家想下载更高配置的模型,把命令后面的参数换掉就可以了。
ollama run deepseek-r1:1.5b
8.直接试用大模型
下载成功后会自动出现对话提示符,可以直接开始与大模型对话:
9.尝试通过URL访问大模型
curl http://localhost:11434/api/generate -X POST -d ‘{“prompt”:”Hello, how are you?”, “model”: “deepseek-r1:1.5b”}’ -H “Content-Type: application/json”
这个curl命令就是尝试从外部通过API调用的方式访问大模型,大家可以把localhost替换成自己的ip。如果这个命令成功了,那么我们也可以在自己的应用中访问服务器上私有部署的Deepseek R1!
声明:文中观点不代表本站立场。本文传送门:https://eyangzhen.com/424755.html