本地部署deepseek大模型最佳方案(Ollama)
1、首先需要安装英伟达显卡cuda驱动
https://developer.nvidia.com/cuda-downloads
2、Ollama 官网下载Ollama
3、进入命令行,安装deepseek模型。
# 1.5B Qwen DeepSeek R1 # 所需空间大约 1.1G ollama run deepseek-r1:1.5b # 7B Qwen DeepSeek R1 # 所需空间大约 4.7G ollama run deepseek-r1:7b # 8B Llama DeepSeek R1 # 所需空间大约 4.9G ollama run deepseek-r1:8b # 14B Qwen DeepSeek R1 # 所需空间大约 9G ollama run deepseek-r1:14b # 32B Qwen DeepSeek R1 # 所需空间大约 20G ollama run deepseek-r1:32b # 70B Llama DeepSeek R1 # 所需空间大约 43G ollama run deepseek-r1:70b # 671B Llama DeepSeek R1 # 所需空间大约 404G ollama run deepseek-r1:671b # Windows的环境变量监听 # OLLAMA_HOST 0.0.0.0 # 启动命令 ollama serve
当然Ollama不只是可以启动deepseek模型,也可以启动他的模型
4、安装Ollama的WebUI,Open WebUI
安装和运行 Open WebUI 有两种主要方法:使用 运行管理器(uv或者conda)或 Python 的,虽然这两种方法都有效,但我们强烈建议使用 uv,因为它可以简化环境管理并最大限度地减少潜在冲突。但是不管什么方式,都需要先安装Python。
4.1 运行管理器方式安装Open WebUI
4.1.1 安装运行管理器(uv)
macOS/Linux:
curl -LsSf https://astral.sh/uv/install.sh | sh
Windows:
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
4.1.2 运行管理方式运行运行 Open WebUI
macOS/Linux:
DATA_DIR=~/.open-webui uvx --python 3.11 open-webui@latest serve
Windows:
$env:DATA_DIR="C:\open-webui\data"; uvx --python 3.11 open-webui@latest serve
4.2 pip方式安装Open WebUI
4.2.1 安装 Open WebUI
pip install open-webui
4.2.2 启动 Open WebUI
open-webui serve
4.2.3 更新 Open WebUI
pip install --upgrade open-webui
安装后,您可以访问 Open WebUI http://localhost:8080