先确认你的版本

按 Win + R 输入 winver 看版本。Win11 基本都行。Win10 需要 2004 以上（Build 19041）。

家庭版也能装 Docker Desktop，以前不行，现在 WSL2 后端全家桶都支持了。

装 WSL2

管理员 PowerShell：

wsl --install
wsl --update

这条命令会开启 WSL 和虚拟机平台功能，然后安装 Ubuntu 默认发行版。重启电脑。

重启后设一下用户名密码，然后确认是 WSL2 而不是 WSL1：

wsl -l -v
# 应该看到 VERSION 列是 2

如果是 1，转成 2：wsl --set-version Ubuntu 2

设 WSL2 为默认：wsl --set-default-version 2

装 Docker Desktop

去 Docker 官网下载安装包，双击安装。装完重启。

首次启动会让你同意条款、选设置。默认就行。注意 Settings → Resources → WSL Integration 里确保你的 WSL 发行版开关是开的。

WSL2 资源限制（重点）

WSL2 默认能吃掉你所有内存。8G 的机器它最多能吃到 8G，直接卡死。

在用户目录下创建 %USERPROFILE%.wslconfig：

[wsl2]
memory=4GB
processors=4
swap=2GB
localhostForwarding=true

设完重启 WSL：wsl --shutdown，再打开就行。

4 给 WSL2，留 4G 给 Windows 自己用。

镜像加速

Docker 默认拉取 Docker Hub，国内慢。Settings → Docker Engine → 加 registry-mirrors：

{
  "registry-mirrors": [
    "https://docker.1ms.run",
    "https://docker.xuanyuan.me"
  ]
}

Apply & restart。

数据卷迁移

WSL2 的数据存在虚拟磁盘里：%LOCALAPPDATA%Dockerwsldataext4.vhdx。随着用镜像越来越多，这个文件会越来越大。

迁移到其他盘：

# 停止 Docker 和 WSL
wsl --shutdown

# 导出
wsl --export docker-desktop-data "D:docker-data.tar"

# 注销原来的
wsl --unregister docker-desktop-data

# 导入到新位置
wsl --import docker-desktop-data "D:DockerData" "D:docker-data.tar" --version 2

压缩变大的 vhdx 文件：

wsl --shutdown
Optimize-VHD -Path "$env:LOCALAPPDATADockerwsldataext4.vhdx" -Mode Full

这个命令需要 Hyper-V 模块（Win10/11 专业版自带，家庭版没有）。

常见问题

“Docker Desktop requires the Server core with containers feature” — WSL2 没装好，wsl --install 然后重启。

“WSL 2 installation is incomplete” — 去 https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi 下载更新。

WSL 里访问不了 Windows 文件 — 确认 localhostForwarding=true。WSL 里访问 Windows 文件用 /mnt/c/。

Docker Desktop 启动后一直 “Docker Desktop is starting” — 资源不够。加大 .wslconfig 的 memory 限制，或者关掉其他吃内存的程序。

卸载（干净卸载）

光在控制面板卸载是不够的：

# 卸载 Docker Desktop
wsl --shutdown
wsl --unregister docker-desktop
wsl --unregister docker-desktop-data

# 删残留
Remove-Item "$env:APPDATADocker" -Recurse -Force
Remove-Item "$env:LOCALAPPDATADocker" -Recurse -Force

数据备份

Volume 备份

docker run --rm 
  -v ollama_ollama-data:/data 
  -v $(pwd):/backup 
  alpine tar czf /backup/ollama-backup-$(date +%F).tar.gz -C /data .

恢复就是反过来 tar xzf。

compose 文件放 Git

配置文件比数据更重要——没有 compose 文件，连容器都起不来。建议放 Git 仓库里管理。

自动备份脚本

每周定时跑一次，清理 30 天前的旧备份：

#!/bin/bash
BACKUP_DIR="/data/backups/docker"
mkdir -p $BACKUP_DIR
for vol in $(docker volume ls -q); do
  docker run --rm -v $vol:/data:ro -v $BACKUP_DIR:/backup alpine tar czf /backup/${vol}-$(date +%F).tar.gz -C /data .
done
find $BACKUP_DIR -name "*.tar.gz" -mtime +30 -delete

加 cron：0 3 * * 0 /usr/local/bin/docker-backup.sh

迁移到另一台服务器

# 旧服务器
cd /opt/ai-stack
docker compose down
tar czf /tmp/ai-stack.tar.gz /opt/ai-stack
scp /tmp/ai-stack.tar.gz root@新IP:/tmp/

# 新服务器
tar xzf /tmp/ai-stack.tar.gz -C /
curl -fsSL https://get.docker.com | sh
cd /opt/ai-stack && docker compose up -d

模型数据也在 tar 里的话，不需要重新拉。直接能用。

端口映射

只监听本机最安全：127.0.0.1:3000:8080。外面通过 Nginx 反代访问。

冲突排查：ss -tlnp | grep 3000 看哪个进程占了端口。或者 docker ps --format "table {{.Names}}t{{.Ports}}"。

日志管理

限制日志大小。这个很重要，不限制的话跑几个月吃满磁盘：

cat > /etc/docker/daemon.json << 'EOF'
{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "50m",
    "max-file": "3"
  }
}
EOF
systemctl restart docker

每个容器最多 3 个日志文件，每个 50MB。

清理旧日志

for f in $(find /var/lib/docker/containers/ -name "*.log"); do
  truncate -s 0 $f
done

资源限制

默认容器能吃多少吃多少。Ollama 把内存吃光，MySQL 和 Nginx 也会跟着挂。限制一下：

services:
  ollama:
    deploy:
      resources:
        limits:
          memory: 8G
          cpus: "4"
        reservations:
          memory: 4G

这样即使 Ollama 出问题，也不会把整台机器拖死。

健康检查

services:
  ollama:
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:11434"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 40s

查看状态：docker ps --format "table {{.Names}}t{{.Status}}"

常用命令

docker stats 看实时资源占用。docker system df 看磁盘使用。

更新服务：docker compose pull && docker compose up -d。

清理悬空镜像：docker image prune。慎用 docker system prune -a，会删掉所有不用的镜像。

Ollama 的模型数据在 volume 里，不在 Docker image 里。清理 Docker 镜像不会删模型。模型用 ollama rm 模型名 删。

跟 LangChain 的区别

LangChain RAG 是自己写 Python，什么都能定制但得会编程。AnythingLLM 是成品工具，上传文档就能问，还支持多用户、自带 API。

如果只是”传文档→AI 回答”，AnythingLLM 够了。要精细控制切分策略、自定义检索逻辑，才需要上 LangChain。

Docker 一行命令

mkdir -p /opt/anythingllm
docker run -d -p 3001:3000 
  --cap-add SYS_ADMIN 
  -v /opt/anythingllm/storage:/app/server/storage 
  -e STORAGE_DIR="/app/server/storage" 
  --name anythingllm 
  mintplexlabs/anythingllm:latest

访问 http://你的IP:3001。

想一步到位用 compose 也行：

cat > docker-compose.yml << 'EOF'
version: "3.8"
services:
  anythingllm:
    image: mintplexlabs/anythingllm:latest
    container_name: anythingllm
    restart: unless-stopped
    ports:
      - "3001:3000"
    cap_add:
      - SYS_ADMIN
    volumes:
      - ./storage:/app/server/storage
    environment:
      - STORAGE_DIR=/app/server/storage
      - LLM_PROVIDER=ollama
      - OLLAMA_BASE_PATH=http://host.docker.internal:11434
      - OLLAMA_MODEL_PREF=qwen2.5:7b
      - EMBEDDING_ENGINE=ollama
      - EMBEDDING_BASE_PATH=http://host.docker.internal:11434
      - EMBEDDING_MODEL_PREF=nomic-embed-text
EOF
docker compose up -d

初始化

首次访问会让你：

1. 设管理员密码
2. 选 LLM 提供商 → Ollama
3. 填地址 → http://host.docker.internal:11434 或 http://172.17.0.1:11434
4. 选模型 → qwen2.5:7b
5. 选嵌入模型 → nomic-embed-text（记得先 ollama pull nomic-embed-text）

Ollama 得监听 0.0.0.0，127.0.0.1 容器里连不上。

用

进系统后：

1. New Workspace → 起名字
2. Upload → 丢文档进去
3. 支持 PDF、TXT、Markdown、Word、网页 URL、GitHub 链接、YouTube 字幕、CSV
4. 它自动分块、向量化、建索引
5. 聊天框提问，AI 基于文档回答，下方显示引用来源

多用户管理：Users → New User。可以给不同用户分配不同的 Workspace。

资源

自身大约 200~400MB。向量库用内置的 LanceDB，零额外开销。加上 Ollama 7B 模型，总共 5~6G。比 Dify 轻不少，8G 机器跑 3B 模型没问题。

数据存在 /opt/anythingllm/storage，备份这个目录就行。

选 AnythingLLM 还是 Dify？

只需要知识库问答，AnythingLLM 更轻量，一条命令就起。要工作流编排、Agent、可视化搭建应用，选 Dify。

两个都装不冲突。AnythingLLM 管知识库，Dify 做应用开发，各干各的。

为什么宝塔用户需要 Docker

宝塔本身能管 PHP、Nginx、MySQL，但 AI 工具基本都用 Docker 部署。宝塔对 Docker 的支持靠”Docker 管理器”插件，说实话不太好用，偶尔还跟宝塔自己的 Nginx 冲突。

我的建议：宝塔管传统服务（网站、数据库），AI 工具用命令行管 Docker。两边各干各的，互不干扰。

装 Docker

curl -fsSL https://get.docker.com | sh
systemctl enable --now docker
apt install -y docker-compose-plugin

装完验证 docker compose version。

Ollama 的装法

Ollama 不一定非要用 Docker，直接装更省事：

curl -fsSL https://ollama.com/install.sh | sh

默认跑在 127.0.0.1:11434，不占 80/443，跟宝塔完全兼容。要局域网访问就改环境变量 OLLAMA_HOST=0.0.0.0。

用宝塔 Nginx 反代 Docker 容器

这是关键。假设你想用 https://ai.95bok.cn 访问 Open WebUI：

第一步，宝塔添加站点：域名 ai.95bok.cn，PHP 版本选纯静态，不需要数据库。

第二步，站点设置 → 反向代理 → 添加：代理名随便填，目标 URL http://127.0.0.1:3000，发送域名 $host。

第三步，手动优化 Nginx 配置（站点设置 → 配置文件），location 块里加上 WebSocket 支持：

proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
client_max_body_size 100m;

这三行不加的话，Open WebUI 的实时通信会出问题。宝塔自动生成的反代配置经常漏掉这个。

第四步，开 SSL。站点设置 → SSL → Let’s Encrypt → 申请。

端口规划

宝塔环境端口容易冲突，提前排好：

宝塔面板 8888，网站 80/443，phpMyAdmin 888，MySQL 3306——这些别动。

Docker 容器用其他端口：Ollama 11434，Open WebUI 3000，n8n 5678，Dify 8080，AnythingLLM 3001。

原则：Docker 容器只绑 127.0.0.1，外面通过宝塔 Nginx 反代访问。安全好管理，SSL 统一由宝塔处理。

防火墙

宝塔 → 安全 → 放行端口。推荐只开 80/443 和 SSH 端口，其他全通过 Nginx 反代走。不要直接把 Docker 端口开放到公网。

几个踩过的坑

端口冲突。宝塔已占 80/443，Docker Nginx 不能再绑。解决：用宝塔 Nginx 做反代，Docker 容器不暴露 80/443。

宝塔改配置覆盖反代。在宝塔站点设置里改 PHP 版本、加伪静态时，宝塔会重写 Nginx 配置。用宝塔的反向代理功能添加，不要手动改配置文件。

Docker 容器重启后没自动起。compose 文件里加 restart: unless-stopped，然后 systemctl enable docker。

Docker 访问宝塔的 MySQL。通过 Docker 网关 IP 172.17.0.1 访问，地址填 172.17.0.1:3306。

部署

mkdir -p /opt/n8n && cd /opt/n8n
cat > docker-compose.yml << 'EOF'
version: "3.8"
services:
  n8n:
    image: docker.n8n.io/n8nio/n8n:latest
    container_name: n8n
    restart: unless-stopped
    ports:
      - "5678:5678"
    volumes:
      - n8n-data:/home/node/.n8n
    environment:
      - GENERIC_TIMEZONE=Asia/Shanghai
      - TZ=Asia/Shanghai
volumes:
  n8n-data:
EOF
docker compose up -d

访问 http://你的IP:5678，首次注册账号。

对接 Ollama

n8n 从 1.30 版本内置了 Ollama 节点。版本不够的话：

docker compose pull n8n && docker compose up -d

Credentials → Add Credential → 搜 Ollama → 填地址。

同机的话地址填 http://172.17.0.1:11434（Docker 网关）。Ollama 得监听 0.0.0.0，网关 IP 找法：

docker network inspect bridge --format='{{range .IPAM.Config}}{{.Gateway}}{{end}}'

写个工作流试试

自动翻译流程：

1. 添加 Manual 触发器（测试用）
2. 加 Ollama Chat Model 节点
3. 选凭证和模型（qwen2.5:7b）
4. System Message 写：你是一个翻译助手。把输入的中文翻译成英文，只输出翻译结果。
5. 把 Manual 的输出连到 Ollama 节点
6. 执行，在 Manual 里输入要翻译的文字

更实用的——RSS 自动翻译通知：

• Schedule 触发器：每天 9:00
• RSS Feed Read 节点：填 RSS 地址
• Ollama 翻译节点
• Telegram/邮件/飞书通知节点

节点之间用线连起来就行，像画流程图。

Webhook 触发

工作流也可以被外部事件触发。加 Webhook 节点，n8n 给你一个 URL，任何 HTTP 请求到这个 URL 工作流就自动跑。

import requests
requests.post('http://localhost:5678/webhook/my-workflow', json={'data': '要处理的内容'})

资源占用

n8n 自身 300~500MB。加上 Ollama 7B 模型总共 5.5G 左右。16G 机器比较宽裕。

升级就 docker compose pull && docker compose up -d。

最终效果：访问 https://ai.yourdomain.com 就是 Open WebUI 聊天界面，后面 Ollama 自动对接，HTTPS 自动续签，一条命令启动一条命令停止。

环境要求

Linux 系统，已装 Docker + Compose，一个域名指向服务器 IP，80 和 443 端口开着。

没装 Docker 的话：

curl -fsSL https://get.docker.com | sh
systemctl enable --now docker
apt install -y docker-compose-plugin

项目结构

ai-stack/
├── docker-compose.yml
├── nginx/
│   ├── nginx.conf
│   ├── certs/          # SSL 证书
│   └── html/           # Let's Encrypt 验证
├── data/
│   ├── ollama/         # 模型数据
│   └── open-webui/     # WebUI 数据
└── .env

mkdir -p /opt/ai-stack/nginx/certs /opt/ai-stack/nginx/html
mkdir -p /opt/ai-stack/data/ollama /opt/ai-stack/data/open-webui
cd /opt/ai-stack

compose 文件

cat > docker-compose.yml << 'EOF'
version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    volumes:
      - ./data/ollama:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
    networks:
      - ai-net

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    volumes:
      - ./data/open-webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - WEBUI_AUTH=True
    depends_on:
      - ollama
    networks:
      - ai-net

  nginx:
    image: nginx:alpine
    container_name: ai-nginx
    restart: unless-stopped
    ports:
      - "80:80"
      - "443:443"
    volumes:
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf:ro
      - ./nginx/certs:/etc/nginx/certs:ro
      - ./nginx/html:/usr/share/nginx/html:ro
    depends_on:
      - open-webui
      - ollama
    networks:
      - ai-net

networks:
  ai-net:
    driver: bridge
EOF

三个服务在同一个 Docker 网络里，互相通过容器名通信。只有 Nginx 暴露端口到外面，内部完全隔离。

Nginx 配置

cat > nginx/nginx.conf << 'EOF'
worker_processes auto;
events { worker_connections 1024; }

http {
    client_max_body_size 100m;

    server {
        listen 80;
        server_name _;
        location /.well-known/acme-challenge/ { root /usr/share/nginx/html; }
        location / { return 301 https://$host$request_uri; }
    }

    server {
        listen 443 ssl;
        server_name ai.yourdomain.com;  # 改成你的

        ssl_certificate /etc/nginx/certs/fullchain.pem;
        ssl_certificate_key /etc/nginx/certs/privkey.pem;
        ssl_protocols TLSv1.2 TLSv1.3;

        auth_basic "AI Stack";
        auth_basic_user_file /etc/nginx/.htpasswd;

        location / {
            proxy_pass http://open-webui:8080;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
        }

        location /ollama/ {
            proxy_pass http://ollama:11434/;
            proxy_buffering off;
            proxy_cache off;
            proxy_read_timeout 300s;
        }
    }
}
EOF

把 ai.yourdomain.com 换成你的真实域名。

创建 Basic Auth 密码：

apt install -y apache2-utils
htpasswd -c nginx/.htpasswd admin

SSL 证书

apt install -y certbot
docker compose up -d nginx
docker compose down

certbot certonly --standalone -d ai.yourdomain.com --email your@email.com --agree-tos
cp /etc/letsencrypt/live/ai.yourdomain.com/fullchain.pem nginx/certs/
cp /etc/letsencrypt/live/ai.yourdomain.com/privkey.pem nginx/certs/

证书续签 cron：

(crontab -l 2>/dev/null; echo "0 3 1 * * certbot renew --quiet && cp /etc/letsencrypt/live/ai.yourdomain.com/fullchain.pem /opt/ai-stack/nginx/certs/ && cp /etc/letsencrypt/live/ai.yourdomain.com/privkey.pem /opt/ai-stack/nginx/certs/ && docker compose -f /opt/ai-stack/docker-compose.yml exec nginx nginx -s reload") | crontab -

启动

cd /opt/ai-stack
docker compose up -d
docker compose ps
# 看到三个容器都在运行就对了

拉模型：

docker exec -it ollama ollama pull qwen2.5:7b

打开浏览器访问 https://ai.yourdomain.com，输入密码后开始聊天。

常见问题

WebSocket 连不上 — 确认 nginx.conf 里有 proxy_http_version 1.1 和 Upgrade/Connection headers。

端口冲突 — 改 docker-compose.yml 里 nginx 的端口映射，比如 "8443:443"。

模型数据放其他盘 — 改 volume 路径：- /data/ollama:/root/.ollama。

Dify 和 Open WebUI 的区别

Open WebUI 就是个聊天界面，轻量简单。Dify 是完整平台——能编排工作流、管理知识库、发布 API、建 Agent。

只想聊天选 Open WebUI。要搭应用、搞知识库、做复杂流程选 Dify。

部署

克隆官方仓库：

cd /opt
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env

.env 里改几个关键的：

EXPOSE_NGINX_PORT=8080

对接本地 Ollama：

OLLAMA_API_BASE_URL=http://host.docker.internal:11434
# 或者 Docker 网关 IP：http://172.17.0.1:11434

启动：

docker compose up -d

第一次拉很多镜像，等几分钟。看进度 docker compose logs -f。

访问 http://你的IP:8080，首次注册管理员账号。

对接 Ollama

登录 Dify → 设置 → 模型供应商 → 选 Ollama → 填地址 → 验证 → 保存。

地址格式：

• 同机：http://host.docker.internal:11434 或 http://172.17.0.1:11434
• 其他机器：http://192.168.x.x:11434

Ollama 得监听 0.0.0.0 而不是 127.0.0.1，否则容器里连不上：

ss -tlnp | grep 11434
# 看到 127.0.0.1 就得改
sudo systemctl edit ollama
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
sudo systemctl daemon-reload && sudo systemctl restart ollama

创建应用

首页 → 创建应用 → 聊天助手 → 选模型 → 写系统提示词 → 发布。

知识库问答机器人：

1. 知识库 → 创建知识库
2. 上传文档（PDF、TXT、Markdown、Word 都行）
3. 分段方式选自动
4. 索引，等处理完
5. 创建聊天助手时开启上下文，选知识库

资源占用

Dify 全家桶（Dify + PostgreSQL + Redis + Weaviate + Nginx + Sandbox）大概 2~4G 内存。加上 Ollama 的 7B 模型，总共 7~9G。

16G 机器可以跑，8G 建议只跑 Ollama + Open WebUI，Dify 太重。

升级

cd /opt/dify/docker
git pull
docker compose pull
docker compose up -d

Dify 更新比较频繁，隔几周看看有没有新版本。

先说结论：Linux 服务器直接上 Docker，Windows 个人电脑走原生安装包。别纠结，这两个是最省事的路。

为什么我最后选了 Docker（服务器端）

一开始我是原生装的 Ollama，一行命令的事儿，确实简单。但后来想加 Open WebUI，发现这玩意官方推荐也是 Docker。那还不如两个都扔 Docker 里，用 compose 一起管。

实际用下来 Docker 版的好处很明显：升级就是拉新镜像重建容器，数据存在 volume 里不丢。原生的话升级要重新跑安装脚本，虽然也不难，但总觉得不如一条命令干净。

GPU 方面 Docker 也没性能损失，装了 NVIDIA Container Toolkit 之后直通，跟原生一样快。

Docker 版部署

准备工作

装 Docker：

curl -fsSL https://get.docker.com | sh
systemctl enable --now docker

有 Nvidia GPU 的话装 Container Toolkit：

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
apt update && apt install -y nvidia-container-toolkit
nvidia-ctk runtime configure --runtime=docker
systemctl restart docker

compose 文件

建个目录 /opt/ollama-stack，里面放 docker-compose.yml：

version: "3.8"

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - ollama-data:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3000:8080"
    volumes:
      - open-webui-data:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on:
      - ollama

volumes:
  ollama-data:
  open-webui-data:

没 GPU 就把 deploy 那段整个删掉，其他不用改。

启动：

cd /opt/ollama-stack
docker compose up -d

等镜像拉完，浏览器打开 http://你的IP:3000 就能看到 Open WebUI 了。拉个模型试试：

docker exec -it ollama ollama pull qwen2.5:7b

原生版（适合 Windows 或不想装 Docker 的情况）

Linux 一行命令搞定：

curl -fsSL https://ollama.com/install.sh | sh

装完自动注册了 systemd 服务，systemctl status ollama 看看在不在跑。默认监听 127.0.0.1:11434，局域网访问的话改一下环境变量：

sudo systemctl edit ollama
# 加上：
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
sudo systemctl daemon-reload
sudo systemctl restart ollama

Windows 更简单，去 ollama.com/download 下载安装包，装完任务栏右下角就有图标。

Open WebUI 原生化比较麻烦，官方也推荐 Docker。如果实在不想装 Docker，可以直接用 Ollama 自带的 API 调着玩，或者装个第三方的轻量前端。

CPU 还是 GPU？差距确实大

同样跑 qwen2.5:7b：

RTX 3060（12G 显存）大概 15~20 token/s，聊起来基本没卡顿感。RTX 4090 能到 50~80 token/s，飞快。

纯 CPU 就不太好看了。i5-12400 大概 2~4 token/s，能聊，但等回复要有耐心。AMD 5800H 稍好一些，3~5 t/s。

如果你只有 CPU，建议先试 3B 以下的小模型。qwen2.5:3b 在 CPU 上能到 10~15 t/s，日常聊天够用了。7B 在 CPU 上勉强能聊，超过 13B 就别想了。

几点踩坑记录

Ollama 默认只监听 127.0.0.1。如果你部署在服务器上想让其他设备访问，别忘了改 OLLAMA_HOST。

Docker 版里 Open WebUI 连 Ollama 用的是容器间通信，地址是 http://ollama:11434（容器名），不是 127.0.0.1。这个踩过坑。

外网暴露要注意安全。Ollama 没认证，谁连上都能调。建议只绑内网 IP，或者用 Nginx 反代加 basic auth。