目录

  1. Ollama 简介
  2. Open-WebUI 简介
  3. 环境准备
  4. Ollama 安装与配置
  5. Open-WebUI 安装与配置
  6. 模型下载与管理
  7. 模型调用示例
  8. 注意事项与优化建议

1️⃣ Ollama 简介

  • Ollama 是一个专注于本地运行大语言模型（LLM）的平台，支持多种模型格式（如 GGML）和快速加载。
  • 主要优势是无需依赖云服务，保护隐私和数据安全。
  • 提供命令行与 API 接口调用模型。

2️⃣ Open-WebUI 简介

  • Open-WebUI 是一个开源的网页界面，类似于 OpenAI 的 ChatGPT 界面，但运行在本地。
  • 支持接入 Ollama 及其他本地模型，方便交互式使用和测试。
  • 基于 Python 和现代 Web 技术，部署简单灵活。

3️⃣ 环境准备

  • 操作系统：Linux、macOS 或 Windows（建议 Linux/macOS）
  • 硬件：推荐带有支持的 GPU（NVIDIA CUDA）或高性能 CPU
  • Python 3.8+ 环境
  • Git、Docker（可选）

4️⃣ Ollama 安装与配置

  • 官方网站下载最新版本：https://ollama.com/
  • macOS 用户直接安装 dmg，Linux 可通过官方提供脚本安装
  • 安装完成后，验证：
ollama --version
  • 下载模型示例：
ollama pull llama2
  • 运行模型：
ollama run llama2

5️⃣ Open-WebUI 安装与配置

  • Clone 官方仓库：
git clone https://github.com/oobabooga/open-webui.git
cd open-webui
  • 创建 Python 虚拟环境并安装依赖：
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
  • 配置 models.yaml 以接入 Ollama 模型（具体配置看项目文档）
  • 启动服务器：
python server.py
  • 浏览器访问 http://localhost:7860，即可进入界面

6️⃣ 模型下载与管理

  • Ollama 支持官方及自定义 GGML 格式模型。
  • 你可以从 Hugging Face 等平台下载 GGML 模型，再通过 Ollama 加载。
  • Open-WebUI 也支持本地模型路径加载。

7️⃣ 模型调用示例

  • Ollama CLI 调用：
ollama run llama2 --prompt "写一段介绍 Ollama 的文字"
  • Open-WebUI 界面直接输入交互
  • 也可通过 API 接口调用（参考 Ollama API 文档）

8️⃣ 注意事项与优化建议

  • 模型文件较大，下载和加载时间长，准备好充足磁盘空间。
  • GPU 加速显著提升性能，若无 GPU，需准备强力 CPU。
  • 关注内存使用，部分大模型需要超过20GB显存或内存。
  • 结合 Docker 容器可简化部署和环境隔离。
  • 结合 Ollama 的多模型管理能力，灵活切换需求。

明白！这里给你一份Ollama + Open-WebUI 本地部署大模型的极简快速上手指南，包含关键步骤和实操命令，帮你最快搭建完成。

Ollama + Open-WebUI 本地大模型部署极简版

1. 环境准备

  • 推荐 Ubuntu 20.04+ / macOS
  • Python 3.8+
  • Git
  • 有 GPU 环境最佳，无 GPU 也可跑小模型
  • 安装 Docker（可选）

2. Ollama 安装

  • macOS 直接去官网下载安装包
  • Linux 参考官方安装脚本：
curl -fsSL https://ollama.com/install.sh | sh
  • 验证安装
ollama --version

3. 下载模型（示例 llama2）

ollama pull llama2

4. Open-WebUI 克隆与安装

git clone https://github.com/oobabooga/open-webui.git
cd open-webui
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt

5. 配置 Open-WebUI 连接 Ollama

  • 修改或创建 models.yaml ，指向 Ollama 模型或 GGML 模型路径
  • 具体配置示例（参考项目文档）

6. 启动 Open-WebUI

python server.py

7. Ollama CLI 调用示例

ollama run llama2 --prompt "写一首关于春天的诗"

额外建议

  • 模型大，磁盘空间要充足
  • GPU 加速建议安装 CUDA 驱动
  • 结合 Docker 容器快速部署更简便

好嘞！下面是针对Ubuntu/Linux 环境，一步步搭建 Ollama + Open-WebUI 本地大模型部署的详细自动化脚本和配置示例，帮你快速搞定。

Ollama + Open-WebUI 本地部署详细脚本与配置（Ubuntu示例）

1. 自动安装 Ollama（Linux）

#!/bin/bash

echo "安装 Ollama 中..."

# 安装 Ollama（官方安装脚本）
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
if command -v ollama >/dev/null 2>&1; then
  echo "Ollama 安装成功，版本：$(ollama --version)"
else
  echo "Ollama 安装失败，请检查"
  exit 1
fi

保存为 install_ollama.sh ，然后执行：

chmod +x install_ollama.sh
./install_ollama.sh

2. 下载模型示例（Llama 2）

ollama pull llama2

3. 自动安装 Open-WebUI

#!/bin/bash

echo "开始安装 Open-WebUI..."

# 克隆代码
git clone https://github.com/oobabooga/open-webui.git
cd open-webui || exit

# 创建虚拟环境
python3 -m venv venv

# 激活虚拟环境
source venv/bin/activate

# 安装依赖
pip install --upgrade pip
pip install -r requirements.txt

echo "Open-WebUI 安装完成"

保存为 install_openwebui.sh ，执行：

chmod +x install_openwebui.sh
./install_openwebui.sh

4. 配置 Open-WebUI 调用 Ollama 模型

在 open-webui/models.yaml （如果不存在就新建）添加 Ollama 模型配置示例：

ollama_llama2:
  adapter: ollama
  model: llama2
  description: "本地 Ollama Llama 2 模型"

5. 启动 Open-WebUI

cd open-webui
source venv/bin/activate
python server.py

浏览器访问：

http://localhost:7860

进入 WebUI，选择 ollama_llama2 模型即可开始使用。

6. Ollama CLI 运行测试

ollama run llama2 --prompt "写一首关于春天的诗"

总结

  • install_ollama.sh：自动安装 Ollama
  • install_openwebui.sh：自动克隆并安装 Open-WebUI
  • models.yaml：配置 Ollama 模型
  • server.py：启动 WebUI
  • ollama run：命令行调用模型