一、项目概述1.1 从 oobabooga 到 TextGen 的演进TextGen原名text-generation-webuiGitHub 曾用名oobabooga/text-generation-webui是当前最受欢迎的开源本地大语言模型LLM运行平台之一。该项目于2026年4月正式更名为TextGenGitHub 仓库地址变更为 github.com/oobabooga/textgen。项目属性详情项目名称TextGenGitHub Stars⭐ 46,900GitHub Forks 6,000许可证AGPL-3.0总提交数5,660 次发布版本111 个最新 v4.7.3官方社区Reddit: r/Oobabooga1.2 项目起源与资金支持TextGen 的设计灵感来源于著名的图像生成 Web UI 项目 AUTOMATIC1111/stable-diffusion-webui。2023年8月著名风险投资机构Andreessen Horowitz (a16z)为该项目提供了慷慨的资金支持进一步推动了项目的发展。此外项目还获得了Warp面向多 AI 代理的编码终端的赞助。1.3 核心定位TextGen 的核心定位是为零门槛本地运行大模型提供一站式解决方案。无论是研究人员、开发者还是普通用户都能通过 TextGen 在本地设备上便捷地运行各种开源大语言模型无需复杂的配置过程。二、核心功能特性2.1 多样化的对话模式TextGen 支持三种主要对话模式满足不同场景需求对话模式说明典型应用instruct类 ChatGPT 指令模式适合问答和任务执行翻译、摘要、代码生成chat-instruct聊天指令混合模式对话式任务处理chat自定义角色对话使用 Jinja2 模板自动格式化角色扮演、虚拟助手所有对话模式均支持Jinja2 模板可灵活自定义提示词格式。2.2 多模态能力视觉理解支持图片附件上传实现视觉理解功能可对图片内容进行问答和分析文档处理支持 TXT、PDF、DOCX 等多种文档格式上传基于文档内容进行智能问答2.3 高级对话管理消息编辑支持修改历史消息内容版本导航可回溯到任意对话节点分支对话在任意节点开启新的对话分支Notebook 模式自由形式文本生成不受对话轮次限制2.4 工具调用Tool-callingTextGen 提供了强大的工具调用功能每个工具以单个.py文件形式存在支持Web 搜索使用ddgs库进行实时搜索页面抓取获取网页内容数学计算精确数学运算MCP 服务器支持 stdio 模式的 MCP (Model Context Protocol) 服务器连接最新版本 (v4.6.2) 新增工具调用确认功能提供内联批准/拒绝/始终批准按钮可在每个工具调用执行前进行确认。2.5 API 兼容性TextGen 完全兼容OpenAI API和Anthropic API格式可以作为云端 API 的本地替代品API 类型支持端点功能OpenAI/v1/chat/completions聊天完成OpenAI/v1/completions文本补全OpenAI/v1/messages消息接口Anthropic/v1/messagesAnthropic 格式通过--api参数启动 API 服务可无缝对接现有应用。2.6 LoRA 微调训练支持基于多轮对话或原始文本数据集的 LoRA 训练支持断点续训功能可针对特定领域进行模型定制2.7 图像生成集成集成diffusers模型如 Z-Image-Turbo支持4-bit/8-bit 量化压缩持久化图库存储图像元数据保存2.8 隐私保护100% 离线运行零遥测、无外部资源请求无远程更新无需联网验证完全私有数据不出本地设备三、技术架构3.1 项目结构textgen/ ├── .github/ # CI/CD 配置 ├── css/ # 样式文件 ├── desktop/ # 桌面应用相关 ├── docker/ # Docker 配置nvidia/amd/intel/cpu ├── docs/ # 项目文档 ├── extensions/ # 扩展插件目录 ├── js/ # JavaScript 文件 ├── modules/ # 核心模块 ├── requirements/ # 依赖文件portable/full ├── user_data/ # 用户数据模型、配置等 ├── server.py # 主服务入口 ├── one_click.py # 一键安装脚本 └── download-model.py # 模型下载工具3.2 技术栈分析技术类别占比说明Python86.1%核心开发语言CSS6.5%界面样式JavaScript5.6%前端交互Shell0.7%脚本配置其他1.1%Batchfile、Dockerfile 等3.3 核心技术组件组件技术选型说明前端框架Gradio交互式 Web UI推理后端llama.cpp / ExLlamaV3 / Transformers / TensorRT-LLM多引擎支持量化方案bitsandbytes、GGUF4-bit/8-bit 量化API 兼容OpenAI API / Anthropic API无缝对接现有应用模型格式GGUF、Safetensors、EXL3主流格式全覆盖3.4 多后端支持TextGen 支持多种推理引擎可根据硬件条件自由选择推理后端特点适用场景llama.cpp高效、跨平台、支持 GGUF通用推荐ik_llama.cppllama.cpp 分支支持新量化类型高级量化需求Transformers官方 Hugging Face 实现研究实验ExLlamaV3高性能推理大模型场景TensorRT-LLMNVIDIA 官方优化专业部署⚠️重要提示无需重启即可切换后端和模型极大提升了开发效率。四、安装与部署4.1 安装方式对比安装方式难度速度功能完整性适用用户便携版⭐ 1分钟⭐⭐⭐⭐普通用户venv 安装⭐⭐ 5分钟⭐⭐⭐⭐⭐开发者一键安装器⭐⭐ 10-30分钟⭐⭐⭐⭐⭐全功能需求Conda⭐⭐⭐ 15分钟⭐⭐⭐⭐⭐高级用户Docker⭐⭐ 快速⭐⭐⭐⭐容器化部署4.2 便携版推荐新手最快上手方式零配置# 1. 下载对应版本# 地址https://github.com/oobabooga/textgen/releases# 2. 解压后双击 textgen 即可运行支持平台Linux、Windows、macOS支持加速CUDA、Vulkan、ROCm、纯 CPU4.3 venv 手动安装# 克隆仓库gitclone https://github.com/oobabooga/textgencdtextgen# 创建虚拟环境python-mvenv venvsourcevenv/bin/activate# macOS/Linux# venv\Scripts\activate # Windows# 安装依赖pipinstall-rrequirements/portable/requirements.txt--upgrade# 启动服务python server.py--portable--api--auto-launch4.4 一键安装器推荐# 克隆仓库gitclone https://github.com/oobabooga/textgen# 运行对应系统脚本# Windowsstart_windows.bat# Linux./start_linux.sh# macOS./start_macos.sh安装完成后访问http://127.0.0.1:78604.5 Conda 完整安装# 安装 Miniforgecurl-sLhttps://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.shMiniforge3.shbashMiniforge3.sh# 创建环境conda create-ntextgenpython3.13conda activate textgen# 安装 PyTorch按硬件选择pip3installtorch2.9.1 --index-url https://download.pytorch.org/whl/cu128# 安装项目gitclone https://github.com/oobabooga/textgencdtextgen pipinstall-rrequirements/full/对应requirements文件4.6 Docker 部署# NVIDIA GPU 示例ln-sdocker/{nvidia/Dockerfile,nvidia/docker-compose.yml,.dockerignore}.cpdocker/.env.example .envmkdir-puser_data/logs user_data/cachedockercompose up--build五、模型管理5.1 支持的模型格式格式说明推荐后端GGUFllama.cpp 专用格式高压缩比llama.cppSafetensors安全高效的 PyTorch 格式TransformersEXL3ExLlamaV3 专用格式ExLlamaV35.2 模型下载与放置GGUF 模型便携版1. 从 Hugging Face 下载 GGUF 文件 https://huggingface.co/models?pipeline_tagtext-generationsortdownloadssearchgguf 2. 将文件放入 user_data/models/ 文件夹 3. UI 自动检测并加载多文件模型Transformers/EXL3textgen/ └── user_data/ └── models/ └── Qwen_Qwen3-8B/ ├── config.json ├── model-00001-of-00004.safetensors ├── tokenizer.json └── ...5.3 VRAM 估算工具使用 GGUF Memory Calculator 估算所需显存。推荐参考LocalBench 获取各量化版本性能对比。六、命令行参数详解6.1 基础设置参数说明示例--model指定模型路径--model user_data/models/Qwen3-8B--multi-user多用户模式--extensions启用的扩展--extensions sd_api_pictures--verbose详细输出--idle-timeout空闲超时秒--idle-timeout 6006.2 API 配置参数说明示例--api启用 API--api-portAPI 端口--api-port 5000--api-keyAPI 密钥--api-key your_key--nowebui仅 API 模式无界面--public-api公共 API6.3 llama.cpp 参数参数说明示例--gpu-layersGPU 层数--gpu-layers 99--ctx-size上下文大小--ctx-size 4096--tensor-split张量分割策略--tensor-split 0.6,0.4--parallel并行数--parallel 4--cache-type缓存类型--cache-type q8_06.4 Transformers 参数参数说明--load-in-8bit8-bit 量化加载--load-in-4bit4-bit 量化加载--bf16使用 BF16 精度--trust-remote-code信任远程代码6.5 推理优化参数参数说明说明--model-draft推测解码草案模型加速生成--spec-type推测解码类型greedy/sampling--draft-max最大推测长度--split-mode tensor张量并行模式多 GPU 加速 60%七、扩展生态7.1 内置扩展扩展名称功能描述character_bias角色偏差调整coqui_ttsCoqui 文本转语音gallery图片图库管理google_translateGoogle 翻译集成long_replies长回复处理ngrok内网穿透支持perplexity_colorsPerplexity 配色方案sd_api_picturesStable Diffusion 图片生成send_pictures图片发送功能silero_ttsSilero 文本转语音superbooga知识增强扩展superboogav2知识增强扩展 v2whisper_sttWhisper 语音转文字7.2 社区扩展TextGen 拥有活跃的社区生态社区成员贡献了大量扩展插件涵盖TTS语音合成语音输入翻译功能更多图像生成能力7.3 MCP 服务器集成v4.6.2 版本支持 MCP (Model Context Protocol) 服务器可通过user_data/mcp.json配置文件连接 stdio 模式的 MCP 服务器。八、最新版本更新2026年8.1 v4.7.32026年5月3日⭐ 最新版本重大更新功能说明桌面应用便携版捆绑 Electron原生窗口运行UI 大改版默认字体改为 InterLucide SVG 图标全新聊天输入框张量并行新增--split-mode tensor标志多 GPU 加速 60%搜索工具使用ddgs库替代 DuckDuckGo HTML更抗反爬模板支持支持独立.jinja/.jinja2指令模板文件Bug 修复修复工具调用批准期间停止按钮被忽略的问题修复 ExLlamaV3 后端并发 API 请求竞态条件修复扩展设置无法保存的问题#7525依赖更新llama.cpp 更新至最新版本ik_llama.cpp 更新至最新版本transformers 更新至 5.68.2 v4.6.22026年4月23日重大更新功能说明工具调用确认内联批准/拒绝/始终批准按钮MCP 服务器支持 stdio 模式 MCP 服务器Thinking 参数新增--preserve-thinking参数侧边栏改进独立切换并保持状态安全修复修复 URL 获取中的 SSRF 漏洞8.3 v4.5.22026年4月15日重大更新功能说明项目更名从 text-generation-webui 正式更名为 TextGen对数概率显示改进 logits 显示UI 改进浅色模式引用文本使用天蓝色九、使用场景9.1 典型应用场景场景说明推荐配置本地开发调试无需调用云端 API本地调试 LLM 应用便携版 llama.cpp隐私敏感场景医疗、法律、金融等敏感数据处理完全离线无遥测模型研究实验测试不同模型、后端、量化方案Transformers / ExLlamaV3API 服务部署自建 OpenAI 兼容 API--api--nowebuiLoRA 训练定制化模型微调一键安装器完整版多模态应用视觉理解 图像生成集成 SD 多模态模型9.2 推荐硬件配置模型规模量化最低显存推荐显存7BQ4_K_M6GB8GB13BQ4_K_M10GB16GB33BQ4_K_M24GB32GB70BQ4_K_M48GB80GB十、项目优势总结10.1 核心优势优势说明✅零门槛便携版一键启动无需配置环境✅多后端支持 llama.cpp/ExLlamaV3/Transformers/TensorRT-LLM✅API 兼容完全兼容 OpenAI/Anthropic API即插即用✅完全私有100% 本地运行零遥测保护隐私✅功能完整聊天、视觉、训练、图像生成一体化✅活跃社区46.9k Stars6k Forks持续迭代10.2 竞品对比特性TextGenOllamaLM StudioStar 数量46.9k30k10k扩展生态⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐API 兼容性⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐LoRA 训练✅❌❌图像生成✅❌❌桌面应用✅❌✅结语TextGen 作为开源本地大模型运行平台的标杆项目凭借其零门槛的便携部署、多后端灵活切换、完整的 API 兼容性以及丰富的扩展生态已经成为 AI 研究者和开发者不可或缺的工具。随着 v4.7.3 版本的发布特别是桌面应用集成和张量并行优化的加入TextGen 在易用性和性能方面又迈上了新的台阶。无论是想要在本地体验大模型能力的普通用户还是需要构建私有化 AI 应用的开发者TextGen 都是值得首选的解决方案。立即体验访问 github.com/oobabooga/textgen 下载最新版本开始你的本地大模型之旅本文首发于 CSDN转载需注明出处。