Ollama 是一个开源工具，旨在帮助用户在本地运行大型语言模型（LLMs）。然而，由于网络访问限制，国内用户在安装和使用 Ollama 时可能会遇到速度慢或无法访问的问题。为了解决这些问题，以下是一些实用的建议和方法：

🧰 一、Ollama 安装方法

1. 官方安装方式（可能受限）

Ollama 官方提供了一行命令即可在 Linux 系统上安装：

curl -fsSL https://ollama.com/install.sh | sh

然而，由于网络限制，该命令可能无法顺利执行。

2. 手动安装方式

如果官方安装方式不可行，您可以尝试手动安装：

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

请注意，下载过程中可能需要科学上网工具。

🚀 二、国内镜像源加速

为了提高下载速度，您可以使用国内的 Docker 镜像加速源：

{
  "registry-mirrors": [
    "https://dockerproxy.com",
    "https://docker.mirrors.ustc.edu.cn",
    "https://docker.nju.edu.cn"
  ]
}

将上述内容添加到 Docker 的配置文件中，以加速镜像的下载。

🧩 三、使用 Open WebUI 提供图形界面

为了更方便地与本地模型交互，您可以使用 Open WebUI 提供图形界面：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在运行上述命令之前，请确保已配置 Docker 的国内镜像加速源，以提高下载速度。

🧠 四、使用 Hugging Face 模型

Ollama 支持加载 Hugging Face 上的模型。您可以使用以下命令加载模型：

ollama run <model_name>

例如，加载一个名为 gemma:7b 的模型：

ollama run gemma:7b

请注意，下载模型可能需要较长时间，具体取决于网络速度。

✅ 五、注意事项

  • 网络访问：在中国大陆地区，访问 Ollama 官方网站和 GitHub 可能会受到限制。建议使用科学上网工具。
  • 系统要求：运行大型模型需要较高的系统配置。建议至少有 16GB 的内存和较好的显卡。
  • 模型选择：选择适合您系统配置的模型。较大的模型需要更多的内存和计算资源。