当前位置:首页 > 随笔 > 正文内容

本地部署deepseek大模型最佳方案(Ollama)

Z先生6个月前 (01-28)随笔403

1、首先需要安装英伟达显卡cuda驱动

https://developer.nvidia.com/cuda-downloads


2、Ollama 官网下载Ollama

https://ollama.com/


3、进入命令行,安装deepseek模型。

# 1.5B Qwen DeepSeek R1  
# 所需空间大约 1.1G
ollama run deepseek-r1:1.5b

# 7B Qwen DeepSeek R1
# 所需空间大约 4.7G
ollama run deepseek-r1:7b

# 8B Llama DeepSeek R1
# 所需空间大约 4.9G
ollama run deepseek-r1:8b

# 14B Qwen DeepSeek R1
# 所需空间大约 9G
ollama run deepseek-r1:14b

# 32B Qwen DeepSeek R1
# 所需空间大约 20G
ollama run deepseek-r1:32b

# 70B Llama DeepSeek R1
# 所需空间大约 43G
ollama run deepseek-r1:70b

# 671B Llama DeepSeek R1
# 所需空间大约 404G
ollama run deepseek-r1:671b

# Windows的环境变量监听
# OLLAMA_HOST  0.0.0.0

# 启动命令
ollama serve

当然Ollama不只是可以启动deepseek模型,也可以启动他的模型

https://ollama.com/search


4、安装Ollama的WebUI,Open WebUI

https://docs.openwebui.com/

安装和运行 Open WebUI 有两种主要方法:使用 运行管理器(uv或者conda)Python 的,虽然这两种方法都有效,但我们强烈建议使用 uv,因为它可以简化环境管理并最大限度地减少潜在冲突。但是不管什么方式,都需要先安装Python

4.1 运行管理器方式安装Open WebUI

4.1.1 安装运行管理器(uv)

macOS/Linux:

curl -LsSf https://astral.sh/uv/install.sh | sh

Windows:

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

4.1.2 运行管理方式运行运行 Open WebUI

macOS/Linux:

DATA_DIR=~/.open-webui uvx --python 3.11 open-webui@latest serve

Windows:

$env:DATA_DIR="C:\open-webui\data"; uvx --python 3.11 open-webui@latest serve


4.2 pip方式安装Open WebUI

4.2.1 安装 Open WebUI

pip install open-webui

4.2.2 启动 Open WebUI

open-webui serve

4.2.3 更新 Open WebUI

pip install --upgrade open-webui


安装后,您可以访问 Open WebUI http://localhost:8080


分享给朋友:
返回列表

上一篇:过年,过年,好一个过年

没有最新的文章了...

相关文章

无语

无语

始终有人陪你走过千山万水,伴你踏遍大江南北。而那人却不是我!2019年夏天的施恩之行应该很幸福吧。其实自己感觉没有错的,也不会出错的!真的只是自己一直在欺骗自己而已!自己傻不拉几的留着幻想,留着晴空万...

魔兽争霸III冰封王座秘籍

thedudeabides - 平静iocainepowder -快速死亡 pointbreak - 清除食物限制strengthandhonor - 无敌环境 allyourba...

礼节(一)

一,客来敬主烟不受如果客人来到你的家里,他拿烟给你抽的话,只能说明你家里的烟不合他的口味,或者说你的烟的档次不行。这种情况下如果主人抽了,那么就是承认自己对客人招呼不周,或者自己的确低客人一等。当然现...

只要你想开始,就永远不晚。

种下一棵树最好的时间是十年前,其次是现在。只要你想开始,就永远不晚。...

7月8月2月的辛苦,客户的钱到账了40%,计8万,但是这钱自己是没法动的!因为要还账!怎么还还要计划!不够还,自己也是够够的了!哎!这次应该只能还老舅的了,其他的,就是新账的左右倒!好好努力吧,正确这...

五大吃苦

大汗淋漓、吃体力的苦独立思考、吃脑力的苦忍耐克制、吃自律的苦读书学习、吃寂寞的苦低头哈腰、吃尊严的苦...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。
请先 登录 再评论,若不是会员请先 注册