从0搭一套RAG系统,我踩的6个坑
老板说把公司文档做成AI问答。我想都不想就说三天搞定。三天后我对着屏幕上的空回答框发呆。RAG听起来简单——文档切一切、向量化、搜一下、喂给模型。但每个环节都有坑踩一遍才知道。坑1分块策略抄了别人的一开始我照着网上的教程chunk_size512chunk_overlap50以为稳了。结果问2024年Q3财报净利润是多少——模型答不上来。查了一下那句话刚好被切成两半一半在前一个chunk结尾一半在后一个chunk开头重叠区也没兜住。后来改成按段落切markdown header分割再按语义边界兜底。chunk用的不是固定字数是动态的。坑2向量模型选错了选了一个下载量最大的embedding模型没看它是老版本的。问题和文档不在一个语义空间里。问利润率和文档里的净利率匹配不上。换了bge-large-zh-v1.5召回率从62%跳到89%。选embedding模型别光看下载量要看它训练时用的数据集跟你文档领域是不是一类。坑3检索只看top_k3为了省钱只召回3个chunk。结果问复杂问题关键信息在第4个或者第5个chunk里。模型看不到全靠猜。后来改成top_k7配合reranker排序。费用多了一点但回答质量明显好了。坑4没有reranker向量检索回来的chunk跟query的相似度是语义层面的但相关性和语义相似度不是一回事。加了bge-reranker-v2后最相关的chunk排到前面不相关的沉底。效果提升很明显。坑5Prompt没控制幻觉早期prompt写得太松根据上下文回答问题。模型经常发挥把不在文档里的信息也编进去。后来改成如果上下文里没有直接答案说没有相关信息。执行后幻觉率从27%降到3%。坑6没有评估就上线搭完觉得差不多直接扔给业务用。结果用户问了一堆边界问题模型要么答非所问要么不回应。后来搭了一个eval集——50个典型QA每次改完都跑一遍。效果好不好一眼就能看。回头看RAG本身不复杂。但每个环节的参数和模型选择直接决定最终效果。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】