手把手教你在 Windows 上轻松部署本地大语言模型：Ollama 与 Open-WebUI 的完整指南！
Ollama 简化了模型的下载与部署，而 Open-WebUI 则提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。无论您是机器学习的初学者，还是希望在本地部署强大语言模型的开发者，本文将为您提供清晰且实用的指导，帮助您顺利踏上机器学习之旅，并最终在本地成功部署属于自己的大型模型，诸如下图。访问 GitHub，下载适用于 Docker Desktop 的中文语言包，链接地址为：htt
戳下方名片，关注并星标！
回复“1024”获取2TB学习资源！
👉体系化学习：运维工程师打怪升级进阶之路 4.0
— 特色专栏 —
大家好，我是民工哥！
手把手教你在 Windows 上轻松部署本地大语言模型：Ollama与Open-WebUI 的完整指南！
前言
欢迎来到本教程！本文将详细介绍如何在 Windows 系统 上安装和使用 Ollama 和 Open-WebUI，这两个强大的工具将帮助您轻松管理和运行大型语言模型。Ollama 简化了模型的下载与部署，而 Open-WebUI 则提供了一个直观的图形用户界面，使用户能够更方便地与模型进行交互。
本教程将涵盖以下内容：
-
安装环境与步骤：提供准备和安装 Ollama 及 Docker Desktop 的详细指导。
-
验证安装：教您如何确认 Ollama 和 Docker 是否成功安装。
-
模型搜索与下载：展示如何使用阿里开源的 通义千问大模型 Qwen 进行操作。
-
Open-WebUI 的安装与使用：介绍如何部署 Open-WebUI 以及如何在浏览器中与模型交互。
无论您是机器学习的初学者，还是希望在本地部署强大语言模型的开发者，本文将为您提供清晰且实用的指导，帮助您顺利踏上机器学习之旅，并最终在本地成功部署属于自己的大型模型，诸如下图。
安装 Ollama
安装环境
-
在开始之前，请确保你的计算机已安装显卡驱动和 CUDA 程序，具体的验证步骤将在本文结尾提供。
访问官网：https://ollama.com/
下载 Ollama
点击页面上的“Download”按钮。
在弹出的选项中选择适合 Windows 的安装程序，下载完成后，双击安装文件。
安装过程
安装开始后直接点击 Install，稍等片刻后安装成功。
验证安装
按下快捷键：同时按 Windows 键和 R 键 (Win + R)，打开“运行”窗口。
输入命令：在窗口中输入 cmd，然后敲击 Enter。
在命令提示符窗口中，输入：
ollama --version如果显示版本号，说明安装成功。
模型部署
在 Ollama 上，我们可以方便地搜索并下载所需的模型。此次我们选择阿里开源的通义千问大模型 Qwen。具体步骤如下：
搜索模型：访问 ollama.com，在搜索框中输入“Qwen”后，敲击Enter进行查找。
选择版本：
-
在搜索结果中，你会看到 Qwen 的不同版本，如 Qwen 2.5 和 Qwen 2 等，这里我们选择安装 Qwen 2.5 版本。
-
目前可用的参数大小有：0.5B、1.5B、3B、7B、14B 、32B 和 72B。每个数值代表不同的参数规模。为了适应自己的电脑配置，建议谨慎选择。这里我们选择 7B（70亿参数），该模型的大小不到 5GB，适合第一次使用。
下载模型
打开命令提示符或终端，直接运行以下命令来下载所选模型：
ollama run qwen2.5:7b-
ollama是命令行工具的名称，用于管理和运行机器学习模型。 -
run是 Ollama 命令，用于启动和执行指定的模型。 -
qwen2.5:7b是模型的名称和版本，表示你要下载或运行的特定模型。
下载速度通常由快到慢（请耐心等待），完成后会看到 success 的提示，表示模型已成功安装。
使用模型
一旦安装完成，你就可以在终端中运行下面指令直接使用 Qwen 模型进行提问。
ollama run qwen2.5:7b注意，Qwen2.5-7B 的回答可能并不是很理想。这并不是重点，因为后续我们可以下载更先进、更准确的模型，从而更深入地体验模型的训练和提升过程。
更改模型保存路径（可选+推荐）：
在 Ollama 中，模型的保存路径可通过环境变量 OLLAMA_MODELS 进行配置和查询。若未显式设置该变量，Ollama 将默认使用系统盘路径，这可能导致系统盘存储空间耗尽。
你可以通过以下方式查看当前 Ollama 模型的保存路径：
PowerShell 终端直接打印当前的 Ollama 配置，检查 **OLLAMA_MODELS**：
echo $env:OLLAMA_MODELS如果 OLLAMA_MODELS 已设置，会显示路径（如 D:\OllamaModels）。
如果没有设置，输出为空，Ollama 会使用默认路径C:\Users\username\ .ollama。
如果你想修改模型的保存路径，可以设置 OLLAMA_MODELS 环境变量。
在 PowerShell 中执行以下命令（方法一）：
$env:OLLAMA_MODELS = "D:\NewModelPath" # NewModelPath为你想要的Ollama模型保存路径或者通过新建 系统环境变量 设置 OLLAMA_MODELS，这样 Ollama 就会将模型保存到新的路径（方法二）：
更改模型保存路径后，需要重启 Ollama 服务才能使更改生效。
如果 Ollama 服务正在运行，你需要先停止它。可以在 PowerShell 中按 Ctrl + C 来终止服务。
重新启动 Ollama 服务，确保新的配置生效：
ollama serveOllama 会加载新的模型保存路径，并在该路径下下载和存储模型。
安装 Docker Desktop
Docker 提供了一致的运行环境，适用于不同操作系统，特别适合跨平台的机器学习工具运行。安装 Docker Desktop 将为后续的 Open-WebUI 提供必要的运行环境，使用户能够轻松地在 Docker 容器 中管理和使用各种语言模型。
安装 Docker Desktop
下载 Docker Desktop：访问 Docker 官网：https://www.docker.com/
点击页面上的“Download for Windows - AMD64”按钮，以下载适用于 Windows 系统的 Docker Desktop 安装文件。
安装 Docker Desktop
双击下载的安装文件，开始安装 Docker Desktop。
按照安装向导的指示完成安装。在安装过程中，将提示安装 WSL 2，建议勾选此选项以获得更好的性能。
配置 Docker Desktop
安装完成后，启动 Docker Desktop。
首次打开时，将出现 Docker 订阅协议，点击 Accept（接受）以继续。
随后，系统将提示用户登录。您可以选择使用 GitHub 账户或 Google 账户登录，若无上述账户，可选择跳过登录步骤。
接下来，将出现调查问卷，您可以根据个人喜好选择填写，或直接跳过此步骤。
最后，Docker Desktop 将正常启动。
汉化 Docker Desktop（可选）
若想使 Docker Desktop 显示中文界面，按照以下步骤进行汉化：
下载对应版本的中文语言包：
访问 GitHub，下载适用于 Docker Desktop 的中文语言包，链接地址为：https://github.com/asxez/DockerDesktop-CN。
将下载的文件解压至 C:\Program Files\Docker 目录下（即 Docker 的安装根目录）。
检查 Docker Desktop 版本：启动 Docker Desktop，版本号将在右下角显示。
备份并替换 app.asar 文件：打开 Docker Desktop 中文语言包，选择与您 Docker 版本相符的 app.asar 文件并复制。
导航至 Docker 的安装目录，路径默认为：
C:\Program Files\Docker\Docker\frontend\resources在该目录下找到 app.asar 文件，建议先备份原文件，然后将复制的中文语言包中的 app.asar 文件粘贴并替换原有文件。
重新启动 Docker Desktop：完成替换后，请关闭 Docker Desktop，然后重新启动该程序。此时，Docker Desktop 应该以中文界面显示。
安装 Open-WebUI
Open-WebUI 是一个基于 Docker 部署的 Web 用户界面，使用户能够在本地环境中轻松运行和管理语言模型。与直接使用命令行工具相比，Open-WebUI 提供了更直观、便捷的交互体验，尤其适合希望进行图形化操作的用户。
安装 Open-WebUI
获取 Open-WebUI 镜像：打开命令提示符或 PowerShell，输入以下命令以下载 Open-WebUI 镜像：
docker pull ghcr.io/open-webui/open-webui:main下载过程可能需要几分钟，请耐心等待。
启动 Open-WebUI 容器
下载完成后，运行以下命令以启动 Open-WebUI：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main该命令中的 -d 参数表示容器在后台运行，-p 3000:8080 用于将容器内的 8080 端口映射到本地计算机的 3000 端口。启动后，您可以在浏览器中访问 http://localhost:3000 以进入 Open-WebUI 界面。
docker run #这是用于创建并运行一个新的容器的命令。
-d #让容器在后台运行（“detached” 模式）。
-p 3000:8080 #将主机的 3000 端口映射到容器的 8080 端口。这意味着你可以通过访问主机的 3000 端口来访问容器内的服务。
--add-host=host.docker.internal:host-gateway #这条选项允许容器内的应用访问主机（宿主机）上的服务。它会将 host.docker.internal 指向 Docker 宿主机的 IP 地址。
-v open-webui:/app/backend/data #创建一个名为 open-webui的数据卷，将其挂载到容器的 /app/backend/data路径。这允许你在容器重启或删除后仍能保留数据。
--name open-webui #为容器指定一个名称（open-webui），方便后续管理。
--restart always #设置容器的重启策略为“始终”。这意味着如果容器崩溃或宿主机重启，Docker 会自动重新启动该容器。
ghcr.io/open-webui/open-webui:main #指定要运行的镜像及其标签（这里是 main）。输出解释
6fb5192dc3e4912b5fdfe6a183c798351fc76e15a7c60bccc25a3573c39b0136: 这是新创建容器的唯一 ID。你可以用这个 ID 来执行后续的操作，如停止或删除容器。
配置与使用 Open-WebUI
在浏览器中打开 http://localhost:3000后，您将看到 Open-WebUI 的主界面。
首次访问可能需要注册一个账号，注册过程简单易行。
登录以后，左上角可以选择我们安装的Qwen2.5模型，如果我们安装多个模型的话，可以切换不同模型使用。
Open-WebUI 提供直观的模型搜索和下载界面，您可以从中选择诸如 Qwen（通义千问）等模型。
使用 Open-WebUI，您可以更便捷地进行交互，相较于传统终端操作，体验更加流畅与美观。
验证显卡驱动和 CUDA 程序
可以按照以下步验骤证计算机是否已安装显卡驱动和 CUDA 程序：
验证显卡驱动
检查显卡信息：
-
右键点击桌面，选择“显示设置”。
-
在“显示”设置中，向下滚动并点击“高级显示设置”。
在这里，你可以看到使用的显卡型号。
验证驱动版本：
按 Win + X 键，选择“设备管理器”。
在设备管理器中，展开“显示适配器”选项，找到你的显卡。
右键点击显卡，选择“属性”，然后切换到“驱动程序”选项卡，可以查看驱动程序版本。
验证 CUDA 安装
检查 CUDA 是否安装：
打开命令提示符（按 Win + R，输入 cmd，然后按 Enter）。输入以下命令并按 Enter：
nvcc --version如果 CUDA 已安装，会显示 CUDA 的版本信息。如果提示“未找到命令”，说明 CUDA 可能未安装或未正确配置。
确认 CUDA 目录
你也可以检查 CUDA 是否在系统环境变量中。打开“控制面板”，选择“系统和安全” > “系统” > “高级系统设置”。
在“系统属性”窗口中，点击“环境变量”按钮，查看“系统变量”中的 Path 变量，确认其中是否包含 CUDA 的安装路径（通常是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vX.X\bin）。
来源：https://blog.csdn.net/Natsuago/article/details/143457235
#AI #大模型 #CUDA #人工智能 #Ollama #OpenwebUI #docker #windows #教程 #科技 #IT #IT运维 #Linux运维
👍 如果你喜欢这篇文章，请点赞并分享给你的朋友！
公众号读者专属技术群
构建高质量的技术交流社群，欢迎从事后端开发、运维技术进群（备注岗位，已在技术交流群的请勿重复添加微信好友）。主要以技术交流、内推、行业探讨为主，请文明发言。广告人士勿入，切勿轻信私聊，防止被骗。
扫码加我好友，拉你进群
断臂求生？58 同城被曝大规模裁员！上午开会下午走人，赔偿 N+1
一键轻松搭建和管理 VPN（WireGuard）的组网神器，轻松实现安全互联
扔掉 K8s Dashboard ！试试这款可视化运维管理神器，轻量、零代码、中文支持
DeepSeek 在运维领域的 24 个落地场景！你的工作正在被 AI 这样替代
比 Nginx 更强大易用！现代化 UI+高性能反向代理+安全防护，确实可以封神了
手把手教你使用 Docker+GPUStack 快速搭建企业级大模型服务平台
公司弃用 Kubernetes 后，部署成功率飙升 89%，事故减少 73%，还不用加班！
PS：因为公众号平台更改了推送规则，如果不想错过内容，记得读完点一下“在看”，加个“星标”，这样每次新文章推送才会第一时间出现在你的订阅列表里。点“在看”支持我们吧!
更多推荐
0
0- 0
已为社区贡献7条内容
所有评论(0)