Llama3.1以405B参数领先GPT-4o和Claude3.5Sonnet，在性能上实现超越。

• Meta大幅优化训练栈，扩展模型算力规模至16000个H100GPU，提高性能。

• Llama3.1具有上下文长度扩展、多语言支持和卓越性能等技术亮点，展现出在多方面的优势。

https://ai.meta.com/blog/meta-llama-3-1/

win11本地部署llama3.1：

• 安装ollama（Windows 10 or later）

https://ollama.com/download

• 下载模型（8B 版本最低仅需 4GB 显存即可运行）

安装后ollama打开；

cmd下执行

ollama run llama3.1:8b

• 删除模型：

ollama list ollama rm llama3.1:8b

页面Open WebUI

• 安装docker

官网：https://dockerdocs.cn/docker-for-windows/install/

• 安装Open WebUI

一个用户友好型的自托管 Web 界面，支持包括 Ollama 在内的多种 LLM 运行器。可以通过 Docker 安装 Open WebUI：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

打开docker,查看是否运行成功

在 Open WebUI 中，可以通过浏览器访问 http://127.0.0.1:3000并进行注册和登录。登录后，可以在聊天界面选择模型并开始与 LLaMa 3.1 8B 模型交互

内网穿透/远程访问:

下载注册：

cpolar官网-安全的内网穿透工具 | 无需公网ip | 远程访问 | 搭建网站

创建隧道:

http://localhost:9200/#/tunnels/create

按照以下步骤手动更新您的 Open WebUI：

1. 拉取最新的 Docker 镜像：

docker pull ghcr.io/open-webui/open-webui:main

1. 停止并删除现有容器：

￮ 此步骤确保您可以从更新的图像创建一个新的容器。

docker stop open-webui docker rm open-webui

1. 使用更新后的图像创建一个新的容器：

￮ 使用docker run最初创建容器时使用的相同命令，确保所有配置保持不变。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

此过程将您的 Open WebUI 容器更新到最新版本，同时保留存储在 Docker 卷中的数据。