当前位置:首页 > 随笔

本地部署deepseek大模型最佳方案(Ollama)

Z先生1年前 (2025-01-28)随笔734

1、首先需要安装英伟达显卡cuda驱动

https://developer.nvidia.com/cuda-downloads


2、Ollama 官网下载Ollama

https://ollama.com/


3、进入命令行,安装deepseek模型。

# 1.5B Qwen DeepSeek R1  
# 所需空间大约 1.1G
ollama run deepseek-r1:1.5b

# 7B Qwen DeepSeek R1
# 所需空间大约 4.7G
ollama run deepseek-r1:7b

# 8B Llama DeepSeek R1
# 所需空间大约 4.9G
ollama run deepseek-r1:8b

# 14B Qwen DeepSeek R1
# 所需空间大约 9G
ollama run deepseek-r1:14b

# 32B Qwen DeepSeek R1
# 所需空间大约 20G
ollama run deepseek-r1:32b

# 70B Llama DeepSeek R1
# 所需空间大约 43G
ollama run deepseek-r1:70b

# 671B Llama DeepSeek R1
# 所需空间大约 404G
ollama run deepseek-r1:671b

# Windows的环境变量监听
# OLLAMA_HOST  0.0.0.0

# 启动命令
ollama serve

当然Ollama不只是可以启动deepseek模型,也可以启动他的模型

https://ollama.com/search


4、安装Ollama的WebUI,Open WebUI

https://docs.openwebui.com/

安装和运行 Open WebUI 有两种主要方法:使用 运行管理器(uv或者conda)Python 的,虽然这两种方法都有效,但我们强烈建议使用 uv,因为它可以简化环境管理并最大限度地减少潜在冲突。但是不管什么方式,都需要先安装Python

4.1 运行管理器方式安装Open WebUI

4.1.1 安装运行管理器(uv)

macOS/Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows:

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

4.1.2 运行管理方式运行运行 Open WebUI

macOS/Linux:

DATA_DIR=~/.open-webui uvx --python 3.11 open-webui@latest serve

Windows:

$env:DATA_DIR="C:\open-webui\data"; uvx --python 3.11 open-webui@latest serve


4.2 pip方式安装Open WebUI

4.2.1 安装 Open WebUI

pip install open-webui

4.2.2 启动 Open WebUI

open-webui serve

4.2.3 更新 Open WebUI

pip install --upgrade open-webui


安装后,您可以访问 Open WebUI http://localhost:8080


分享给朋友:

相关文章

3月最后一周

3月最后一周,2016年第一季度最后一周。无限恐慌吧~恐慌公司业务、恐慌自己又长了一岁。一切又是那么的理所当然!…

一片凌乱

2017已经过去整整半年。这半年,一切混乱。自己越来越懒惰,生活上,各种事情,各种坑!不要去期待所谓的好运!…

可悲!可叹!

谁,执我之手,敛我半世癫狂; 谁,吻我之眸,遮我半世流离。谁,抚我之面,慰我半世哀伤;谁,可助我臂,纵横万载无双。…

情绪

很多年没有这样的情绪波动了。14年15年那种感觉,那种悲凉,心中那种喘不过来气的感觉深深的笼罩这自己。以前会找各种出口去发泄:去江边感受寒风,又或用酒精麻醉自己,又或听着一些悲情的歌独自冥想。或许是因…

李商隐诗二首

《锦瑟》锦瑟无端五十弦,一弦一柱思华年。庄生晓梦迷蝴蝶,望帝春心托杜鹃。沧海月明珠有泪,蓝田日暖玉生烟。此情可待成追忆,只是当时已惘然。《春雨》怅卧新春白袷衣,白门寥落意多违。红楼隔雨相望冷,珠箔飘灯…

zBlog的梦还在,我的呢?

Z-BlogPHP 1.6.0 Valyria发布了,主要更新是对新版PHP的支持,已经支持到了php7.4;zxd在与时俱进,自己呢?zBlog的梦还在,我的呢?==================…

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。