Qwen3.5-4B-AWQ从零开始conda环境supervisorWebUI端口7860全链路1. 项目概述Qwen3.5-4B-AWQ-4bit是由阿里云通义千问团队推出的轻量级稠密模型经过4bit AWQ量化后显存占用仅约3GB使得RTX 3060/4060等消费级显卡也能流畅运行。该模型在MMLU-Pro基准测试中表现接近Qwen3-30B-A3B在OmniDocBench上甚至超越了GPT-5-Nano实现了精度与速度的完美平衡。核心特性支持201种语言处理原生多模态能力图文理解长上下文处理最高支持32K tokens工具调用功能适配轻量Agent、知识库、客服等应用场景2. 环境准备与部署2.1 Conda环境配置首先创建一个专用的conda环境conda create -n torch28 python3.10 -y conda activate torch28安装必要的依赖包pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install vllm transformers fastapi uvicorn2.2 模型下载与准备建议将模型放置在指定路径mkdir -p /root/ai-models/cyankiwi cd /root/ai-models/cyankiwi git lfs install git clone https://huggingface.co/Qwen/Qwen3.5-4B-AWQ-4bit3. 服务部署与管理3.1 Supervisor配置创建supervisor配置文件/etc/supervisor/conf.d/qwen35-4b-awq.conf[program:qwen35-4b-awq] directory/root/Qwen3.5-4B-AWQ-4bit command/opt/miniconda3/envs/torch28/bin/python webui.py autostarttrue autorestarttrue stderr_logfile/root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log stdout_logfile/root/Qwen3.5-4B-AWQ-4bit/logs/webui.log更新supervisor配置supervisorctl reread supervisorctl update3.2 服务管理命令查看服务状态supervisorctl status启动/停止/重启服务# 启动服务 supervisorctl start qwen35-4b-awq # 停止服务 supervisorctl stop qwen35-4b-awq # 重启服务 supervisorctl restart qwen35-4b-awq查看日志# 实时查看运行日志 tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.log # 查看错误日志 tail -f /root/Qwen3.5-4B-AWQ-4bit/logs/webui.err.log4. WebUI访问与使用服务启动后可以通过以下地址访问Web界面http://localhost:7860WebUI主要功能文本生成与对话多模态图文理解长上下文处理工具调用演示参数调整界面5. 常见问题解决5.1 GPU显存问题如果服务启动失败并提示显存不足可能是之前有残留进程占用显存# 查看GPU显存占用情况 nvidia-smi # 查找并终止残留的VLLM进程 ps aux | grep VLLM kill -9 PID # 重新启动服务 supervisorctl start qwen35-4b-awq5.2 手动调试运行如需调试可以直接运行cd /root/Qwen3.5-4B-AWQ-4bit /opt/miniconda3/envs/torch28/bin/python webui.py6. 项目目录结构完整的项目目录结构如下/root/Qwen3.5-4B-AWQ-4bit/ ├── webui.py # Web界面主程序 ├── supervisor.conf # supervisor配置文件 └── logs/ ├── webui.log # 运行日志 └── webui.err.log # 错误日志7. 总结通过本教程我们完成了Qwen3.5-4B-AWQ-4bit模型从conda环境配置到supervisor服务管理的全链路部署。这个轻量级但功能强大的模型特别适合在消费级显卡上运行为开发者提供了高效的多模态AI能力。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。