Jetson Orin Nano Super 8G版实战用OllamaOpen WebUI本地部署DeepSeek R1手机电脑都能用边缘计算设备正逐渐成为AI落地的关键载体而NVIDIA Jetson Orin Nano系列凭借其出色的能效比和算力表现成为众多开发者的首选。本文将带你从零开始在Jetson Orin Nano Super 8G版上部署DeepSeek R1大语言模型并通过Open WebUI打造一个可通过手机、电脑等多终端访问的私有AI助手。1. Jetson Orin Nano硬件解析与准备Jetson Orin Nano Super 8G版搭载了6核ARM Cortex-A78AE CPU主频可达1.7GHzGPU采用Ampere架构提供67 TOPS(INT8)的算力。这个配置对于7B参数规模的LLM模型来说已经足够关键硬件参数对比表参数Jetson Orin Nano 8G备注内存8GB LPDDR5102GB/s带宽存储256GB eMMC建议扩展SSDGPUAmpere架构2048 CUDA核心算力67 TOPS(INT8)适合7B模型在开始部署前建议进行以下准备工作确保系统为Ubuntu 20.04或更新版本更新所有系统包sudo apt update sudo apt upgrade -y安装基础开发工具sudo apt install build-essential curl git -y提示Jetson设备默认使用ARM64架构所有软件包都需要对应版本2. Ollama框架部署与模型加载Ollama作为本地LLM运行框架其安装过程极为简单curl -fsSL https://ollama.com/install.sh | sh安装完成后我们可以直接拉取DeepSeek R1 7B模型ollama pull deepseek-r1模型下载完成后可以通过以下命令测试运行ollama run deepseek-r1显存占用监控技巧实时查看显存watch -n 1 nvidia-smi7B模型典型显存占用7.2GB左右温度监控tegrastats命令查看实时温度3. 网络服务化配置为了让Ollama服务能够被局域网内其他设备访问需要修改服务配置sudo systemctl edit ollama.service在打开的编辑器中添加[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434然后重新加载并重启服务sudo systemctl daemon-reload sudo systemctl restart ollama验证服务是否正常运行curl http://localhost:11434如果返回Ollama is running则表示配置成功。4. Open WebUI部署与优化为了获得更好的交互体验我们部署Open WebUI作为前端界面首先创建并激活conda环境conda create -n openwebui python3.11 -y conda activate openwebui然后安装Open WebUIpip install open-webui启动服务open-webui serve访问方式本地访问http://localhost:8080局域网访问http://[设备IP]:8080性能优化建议使用--listen参数指定监听IP添加--api-port参数避免端口冲突设置--ollama-api-url指向自定义Ollama地址5. 多终端访问实践部署完成后任何连接到同一局域网的设备都可以通过浏览器访问各终端适配情况设备类型测试结果建议电脑浏览器完美兼容推荐Chrome手机浏览器良好支持可添加桌面快捷方式平板电脑触控优化横屏体验更佳安全建议如需外网访问建议配置VPN而非直接暴露端口定期检查系统更新和安全补丁考虑设置基础认证增加安全性6. 系统监控与维护长期运行LLM服务需要关注系统状态常用监控命令# GPU状态 nvidia-smi # 综合监控 tegrastats # 内存使用 free -h # 温度监控 cat /sys/class/thermal/thermal_zone*/temp典型运行数据GPU利用率90-100%显存占用7.2/8GB运行温度55-65°C内存占用6/8GB当设备温度超过70°C时建议检查散热风扇是否正常工作考虑增加被动散热片适当降低环境温度7. 进阶配置与扩展对于希望进一步优化的用户可以考虑模型量化选项ollama pull deepseek-r1:q4_0 # 4-bit量化版本自定义启动参数ollama run deepseek-r1 --num_ctx 2048 --temperature 0.7系统服务化配置 创建/etc/systemd/system/openwebui.service文件[Unit] DescriptionOpen WebUI Service Afternetwork.target [Service] Userubuntu WorkingDirectory/home/ubuntu EnvironmentPATH/home/ubuntu/miniconda3/envs/openwebui/bin ExecStart/home/ubuntu/miniconda3/envs/openwebui/bin/open-webui serve --listen 0.0.0.0 Restartalways [Install] WantedBymulti-user.target然后启用服务sudo systemctl enable --now openwebui通过以上步骤你已经成功在Jetson Orin Nano上部署了一个功能完整的本地AI助手系统。这套方案不仅适用于家庭环境也可以应用于教育、研发等多种场景为用户提供安全、私有的AI交互体验。