目录1. 国内快速安装ollama方案一使用 ModelScope 镜像安装最稳定2. ollama拉取qwen3.5大模型3. ollama常态化运行qwen3.5大模型3.1 确认 Ollama 服务状态3.2 验证 API 服务是否正常3.3 让模型常驻内存可选提高响应速度4. 为应用提供 API 接口5. 多卡实现均衡荷载分布1. 国内快速安装ollama方案一使用 ModelScope 镜像安装最稳定注意新版本的ollama可以拉取新版本的大模型推荐直接安装最新版本的ollama在modelscope download指令中可以通过--revision来指定版本。如果不知道目前支持的版本在modelscope download设置--revision报错时会显示所有的版本在ubuntu终端执行# 1. 安装依赖工具和 modelscope sudo apt update sudo apt install -y pciutils lshw zstd python3-pip pip install modelscope -U # 2. 从 ModelScope 下载 Ollama 安装包以 v0.14.1 为例 modelscope download --modelmodelscope/ollama-linux --local_dir ./ollama-linux --revision v0.14.1 # 3. 进入目录并执行安装脚本 cd ollama-linux chmod x ollama-modelscope-install.sh sudo ./ollama-modelscope-install.sh2. ollama拉取qwen3.5大模型验证版本ollama --versionollama版本ollama version is 0.17.5如果不知道自己要拉那个大模型或者不知道拉取的模型完整名称可以通过官网链接进行搜索查询https://ollama.com/library拉取qwen3.5的9b大模型ollama pull qwen3.5:9b然后就可以自动安装安装完成后使用ollama list检查3. ollama常态化运行qwen3.5大模型3.1 确认 Ollama 服务状态sudo systemctl status ollama如果显示 active (running)说明服务已经在后台运行。如果没有运行启动它并设置为开机自启sudo systemctl start ollama sudo systemctl enable ollama3.2 验证 API 服务是否正常Ollama 默认监听 http://localhost:11434。你可以通过以下命令测试 API 是否可用curl http://localhost:11434/api/generate -d { model: qwen3.5:9b, prompt: Hello, are you there?, stream: false }3.3 让模型常驻内存可选提高响应速度方法 A设置较长的 keep-alive 时间curl http://localhost:11434/api/generate -d { model: qwen3.5:9b, prompt: Hello, stream: false, keep_alive: -1 }keep_alive 单位为分钟设为 -1 表示永久保持设为 0 表示立即卸载。你也可以设为具体分钟数如 30。方法 B使用 ollama run 并保持会话ollama run qwen3.5:9b --keepalive 60m这会启动一个交互式会话并在60分钟内保持模型加载。但这种方式会占用终端适合调试不适合长期后台运行。4. 为应用提供 API 接口你的应用程序可以通过 HTTP 调用 Ollama 的 API。以下是常见编程语言的示例import requests import json url http://localhost:11434/api/generate payload { model: qwen3.5:9b, prompt: 用中文解释什么是机器学习, stream: False, keep_alive: -1 # 如果需要常驻内存 } response requests.post(url, jsonpayload) result response.json() print(result[response])5. 多卡实现均衡荷载分布默认设置下双卡的显存占用如图模型几乎全部塞在第一张卡上第二张卡只占了极少显存计算负载严重不均。需要双卡均匀承担荷载按以下步骤操作第一步修改服务配置文件打开终端执行你熟悉的 systemctl edit 命令来创建或编辑服务的 override 配置这会在安全的位置添加配置避免直接修改主文件sudo EDITORvi systemctl edit ollama第二步在 vi 中添加关键配置在打开的 vi 编辑器中界面可能是空的或有注释按 i 键进入插入模式然后粘贴或输入以下内容[Service] EnvironmentCUDA_VISIBLE_DEVICES0,1 EnvironmentOLLAMA_SCHED_SPREAD1 EnvironmentOLLAMA_KEEP_ALIVE-1编辑完成后按 Esc 键退出插入模式然后输入 :wq 并回车保存并退出 vi。CUDA_VISIBLE_DEVICES0,1: 明确告诉 Ollama 使用索引为 0 和 1 的这两张显卡。OLLAMA_SCHED_SPREAD1: 这是核心优化参数。它会让 Ollama 的调度器尝试将模型的不同部分或不同请求更均衡地分配到所有可用的 GPU 上而不是尽量塞满第一张卡。这对于提升双卡的计算利用率至关重要。OLLAMA_KEEP_ALIVE-1: 设置模型在内存中永久保持加载状态不会因为几分钟没有请求就自动卸载。这样可以避免下次请求时的冷启动延迟。如果你想设置为其他时间比如 1 小时可以写成 Environment“OLLAMA_KEEP_ALIVE1h”。第三步重启 Ollama 服务使配置生效sudo systemctl daemon-reload sudo systemctl restart ollama