一年前我的一个开发伙伴接到一个需求给公司的客服系统加一个AI助手。他的第一反应是什么咱们自己训练一个模型吧。拿一些历史对话数据微调一个 BERT 或者 LLaMA...两周过去了。他还在读论文还在调整数据集的格式还在查 PyTorch 和 Hugging Face 的文档。项目经理开始不耐烦了。然后团队里另一个工程师接手了这个任务。他装了一个库写了大概 50 行代码下午就有了一个能跑的原型。同样的需求同样的技术栈同样的时间限制。差别在哪不是智力。是工具意识。资深工程师和中级工程师最大的区别往往不在于谁更聪明而在于谁懂得选对工具然后快速落地。这篇文章就是讲这 7 个库的故事。为什么现在是做 AI 功能的最好时机十年前要给软件加上智能功能你需要一个专门的 ML 团队。今年一个 JavaScript 开发者就行。这个转变的核心原因是抽象层的进步。之前开发者需要理解神经网络的数学原理如何设计和训练模型如何处理 GPU、显存、批处理如何优化推理性能现在呢所有这些复杂性都被封装到了库里。你只需要调用函数 → 传入数据 → 得到结果。而且这些库都是为 JavaScript 生态定制的。不需要 Python不需要命令行工具链不需要额外的服务。┌─────────────────────────────────────────┐ │ AI 功能的复杂度演变 │ ├─────────────────────────────────────────┤ │ │ │ 10年前需要 ML 专家团队 │ │ ├─ 数学、算法理解 │ │ ├─ 模型设计、训练 │ │ ├─ 基础设施GPU、显存 │ │ └─ 性能优化、部署 │ │ │ │ 今年一个 JS 开发者足够 │ │ ├─ 调用 API 或库函数 │ │ ├─ 选择合适的模型参数 │ │ ├─ 在浏览器或 Node.js 中运行 │ │ └─ 根据业务需求做提示词优化 │ │ │ └─────────────────────────────────────────┘关键转变AI 不再是研究问题它成了工程问题。而工程问题就是工具的事儿。7 个库3 种选择路线在深入每个库之前先理解选择的逻辑。一个 JavaScript 开发者做 AI 功能大概有 3 条路路线 1用别人的大脑LLM API你不训练模型你用最好的现成模型。直接调 API。代表库OpenAI Node SDK最快成本最低某种意义上但依赖网络和 API 供应商。路线 2本地智能浏览器/Node.js 推理模型完全在你的环境跑没有网络依赖没有隐私泄露。代表库Transformers.js、TensorFlow.js、Brain.js、ONNX Runtime Web需要一点算力尤其是大模型但自主性高。路线 3专业编排多库联动把多个工具LLM、向量数据库、RAG、记忆管理组织成复杂工作流。代表库LangChain.js最灵活但需要理解各个组件的协作。你的 AI 需求 │ ┌───────────┼───────────┐ │ │ │ 需要快速上线 需要本地推理 需要复杂流程 │ │ │ 路线1 路线2 路线3 │ │ │ OpenAI SDK │ Transformers.js LangChain │ TensorFlow.js 向量库 其他API │ ONNX/Brain.js 存储7 个库详解选型、原理、实战1. LangChain.js — AI 应用的脚手架场景你需要连接多个 AI 组件用提示词驱动复杂业务流程。LangChain 解决的核心问题是AI 应用里的杂活太多。你需要管理提示词版本和模板对话历史Memory多轮交互的状态工具调用和外部 API 集成向量检索和 RAG 管道每个公司都自己写一遍这些东西就太浪费了。LangChain 相当于说这些通用的管道我都给你写好了你只需要组装。核心概念Chain把多个组件串联起来的管道Agent能独立做决策的 AI可以选择用哪些工具RAG从知识库检索信息然后给 LLM 做参考实战例子做一个文档问答助手import { ChatOpenAI } fromlangchain/chat_models/openai; import { VectorStoreIndex } fromlangchain/indexes; import { PineconeStore } fromlangchain/vectorstores/pinecone; import { PromptTemplate } fromlangchain/prompts; // 1. 初始化模型 const model new ChatOpenAI({ temperature: 0.7, modelName: gpt-4, apiKey: process.env.OPENAI_API_KEY, }); // 2. 连接向量数据库比如 Pinecone const vectorStore await PineconeStore.fromExistingIndex( new OpenAIEmbeddings(), { pineconeIndex: doc-index } ); // 3. 创建 RAG 链 const qaPrompt new PromptTemplate({ template: 根据以下背景信息回答问题。 背景{context} 问题{question}, inputVariables: [context, question], }); const chain new RetrievalQAChain.fromLLMAndRetriever( model, vectorStore.asRetriever(), { prompt: qaPrompt } ); // 4. 问问题 const answer await chain.call({ query: 我们的产品支持哪些支付方式 });为什么资深工程师喜欢它把脏活提示词管理、历史维护、工具集成都抽象了RAG 模式几乎解决了 90% 的知识问答问题不需要微调代码清晰业务逻辑容易测试成本依赖 LLM API比如 OpenAI会产生 token 费用。2. Transformers.js — 把 ML 模型装进浏览器场景你需要在浏览器或 Node.js 里运行 ML 模型不想依赖后端服务。Transformers.js 是由 Hugging Face 开源的库让你可以直接在 JavaScript 环境中加载和运行预训练模型。核心价值零后端依赖完全在浏览器跑零隐私泄露数据不离开用户设备零 API 成本一次加载多次使用支持的任务文本分类情感分析、垃圾邮件检测、主题分类文本生成总结、翻译命名实体识别提取人名、公司名、地点嵌入和相似度计算用于向量检索视觉模型图像分类、物体检测实战例子情感分析import { pipeline } fromxenova/transformers; // 创建分类器第一次会下载模型约 100MB const classifier await pipeline( sentiment-analysis, Xenova/bert-base-multilingual-uncased-sentiment// 支持中文 ); // 分析中文评论 const result await classifier(这个功能太棒了); // 输出[{ label: POSITIVE, score: 0.998 }] // 批量分析 const reviews [ 产品质量不错值得推荐, 客服态度很差体验很不好, 一般般没什么特色 ]; for (const review of reviews) { const [result] await classifier(review); console.log(${review} → ${result.label}); }重要的实现细节首次加载模型会下载到浏览器的 IndexedDB 中之后离线也能用推理在 CPU 上进行速度取决于 CPU 性能通常 100ms ~ 1s适合做客户端的实时反馈比如打字时自动分类、自动标签什么时候用 Transformers.js✅ 你需要隐私性数据不上传✅ 你想省 API 成本不用调用付费 API✅ 你需要离线可用❌ 你需要超高速度GPU 推理❌ 你需要非常大的模型超过几 GB3. TensorFlow.js — 真正的浏览器 ML 平台场景你不只想运行模型还想在浏览器里训练或微调模型。TensorFlow.js 是 TensorFlow 的 JavaScript 绑定允许你用 JS 写完整的 ML 管道数据加载 → 模型定义 → 训练 → 推理。相比 Transformers.js 的优势更灵活你可以自己定义网络结构、损失函数、优化器更强大支持复杂的 ML 任务不仅是预测还有聚类、降维等GPU 加速可以用 WebGL浏览器或 Node.js 的 GPU 支持实战例子训练一个简单的房价预测模型import * as tf fromtensorflow/tfjs; // 训练数据[房间数, 面积] - 价格单位万元 const trainingData { inputs: [[2, 50], [3, 70], [4, 100], [5, 120]], outputs: [[50], [80], [150], [180]] }; // 创建模型简单的神经网络 const model tf.sequential({ layers: [ // 输入层2 个特征 tf.layers.dense({ units: 32, activation: relu, inputShape: [2] }), // 隐藏层32 个神经元 tf.layers.dense({ units: 16, activation: relu }), // 输出层1 个输出价格 tf.layers.dense({ units: 1 }) ] }); // 编译模型 model.compile({ optimizer: tf.train.adam(0.01), loss: meanSquaredError }); // 准备数据 const xs tf.tensor2d(trainingData.inputs); const ys tf.tensor2d(trainingData.outputs); // 训练 await model.fit(xs, ys, { epochs: 100, verbose: 1, batchSize: 2 }); // 预测5 房间150 平米的房子要多少钱 const prediction model.predict(tf.tensor2d([[5, 150]])); prediction.print(); // 输出约 [180] ~ [200] 万元 // 清理张量释放内存 xs.dispose(); ys.dispose(); prediction.dispose();什么时候选 TensorFlow.js✅ 你需要在浏览器进行增量学习用户交互数据持续优化✅ 你有定制的神经网络需求✅ 你的项目需要支持 WebGL GPU 加速❌ 你只是想快速用现成模型用 Transformers.js 更简洁4. Brain.js — 最简单的神经网络库场景你需要一个轻量级的、易学的ML 库不想被 TensorFlow 的复杂性吓住。Brain.js 是为 JavaScript 开发者专门设计的优先考虑简洁性而非灵活性。如果说 TensorFlow.js 是完整的 ML 平台那 Brain.js 就是开箱即用的神经网络。特点代码非常简洁通常 10-20 行就能训练一个模型没有张量、维度、GPU 等复杂概念适合学习 ML 基础和快速原型实战例子欺诈检测const brain require(brain.js); // 创建神经网络 const net new brain.NeuralNetwork({ hiddenLayers: [8] // 1 个隐藏层8 个神经元 }); // 训练数据[登录尝试次数, IP地址是否异常] - [是否欺诈] net.train([ { input: { attempts: 1, ipAnomaly: 0 }, output: { fraud: 0 } }, { input: { attempts: 1, ipAnomaly: 1 }, output: { fraud: 0.3 } }, { input: { attempts: 10, ipAnomaly: 0 }, output: { fraud: 0.7 } }, { input: { attempts: 15, ipAnomaly: 1 }, output: { fraud: 1 } } ], { iterations: 1000, errorThresh: 0.005 }); // 预测8 次尝试IP 异常 - 欺诈概率 const result net.run({ attempts: 8, ipAnomaly: 1 }); console.log(欺诈概率${(result.fraud * 100).toFixed(0)}%); // 输出欺诈概率85%Brain.js 的局限不支持深度学习超过 3-4 层的网络通常不靠谱没有卷积、递归等特殊层性能不如 TensorFlow什么时候用 Brain.js✅ 你在学习神经网络基础✅ 你需要快速原型一个简单分类器✅ 你项目很小不想引入沉重的依赖❌ 你需要处理图像、序列数据NLP❌ 你需要高性能5. Natural — 不需要 LLM 的文本处理场景你需要做文本处理但不一定需要深度学习。有时候问题不需要 AI。很多文本处理问题用传统的 NLP 技术就能解决。Natural 是一个成熟的 JavaScript NLP 库处理分词、词干提取、TF-IDF 等经典 NLP 任务。为什么要用它而不是 LLM确定性输入相同输出永远相同LLM 有随机性成本零 API 费用速度毫秒级LLM 通常 500ms简洁代码短逻辑清晰实战例子搜索引擎关键词提取const natural require(natural); // 分词 const tokenizer new natural.WordTokenizer(); const text React 是一个 JavaScript 库用于构建用户界面。React 还支持 TypeScript。; const tokens tokenizer.tokenize(text); console.log(tokens); // 输出[React, 是, 一个, JavaScript, 库, ...] // 词干提取English 和中文支持都有 const stemmer natural.PorterStemmer; console.log(stemmer.stem(running)); // run console.log(stemmer.stem(developer)); // develop // TF-IDF计算词语的重要性 const tfidf new natural.TfIdf(); tfidf.addDocument(React Vue Angular 前端框架对比); tfidf.addDocument(Vue 是渐进式框架易学易用); tfidf.addDocument(Angular 是企业级框架功能完整); // Vue 在第 2 和 3 个文档中都出现了但在第 1 个没有 // TF-IDF 会给 Vue 一个较低的分数因为它出现在多个文档 // 而 React 只在第 1 个出现分数会更高 tfidf.tfidfs(React, (i, score) { console.log(文档 ${i}: React 的 TF-IDF ${score.toFixed(3)}); });Natural 的应用场景✅ 搜索相关性排序✅ 自动标签提取✅ 文本相似度计算不需要 LLM✅ 垃圾邮件检测基于词频❌ 复杂的语义理解需要 LLM❌ 多语言支持很弱主要是英文资深工程师的经验不要过度设计。很多看起来需要 AI 的问题用传统 NLP 就能解决而且更快、更便宜、更可靠。6. ONNX Runtime Web — 跨框架的模型部署场景你有一个用 Python PyTorch 训练的模型想在 JavaScript 中运行。ONNXOpen Neural Network Exchange是一个模型格式标准允许你在任何框架中训练然后在任何环境中推理。工作流Python 环境 PyTorch / TensorFlow / scikit-learn ↓ 导出为 ONNX 格式 ↓ JavaScript 环境 ONNX Runtime Web ↓ 在浏览器或 Node.js 推理为什么这很强大你的 ML 工程师用他们熟悉的 Python 工具训练你的前端工程师用 JavaScript 直接部署不需要学 Python模型一次训练各处使用实战例子部署一个 PyTorch 图像分类模型import * as ort fromonnxruntime-web; // 1. 加载 ONNX 模型 const session await ort.InferenceSession.create(./mobilenet.onnx); // 2. 准备输入图像转张量 const canvas document.getElementById(imageCanvas); const ctx canvas.getContext(2d); const imageData ctx.getImageData(0, 0, 224, 224); const pixels newFloat32Array(224 * 224 * 3); // 归一化像素值到 [-1, 1] for (let i 0; i imageData.data.length; i 4) { pixels[i / 4] (imageData.data[i] - 127.5) / 127.5; // R, G, B 通道 } // 3. 创建输入张量 const input new ort.Tensor(float32, pixels, [1, 3, 224, 224]); // 4. 运行推理 const feeds { input }; const results await session.run(feeds); // 5. 获取输出概率分布 const output results.output.data; const topClass Array.from(output).indexOf(Math.max(...output)); console.log(识别的对象${classNames[topClass]});ONNX 的优势✅ 跨框架部署一套工具链无缝衔接✅ 支持各种硬件CPU、GPU、TPU✅ 工业界标准被微软、Google、Meta 等支持✅ 模型优化工具成熟❌ 学习曲线需要理解 ONNX 模型转换过程7. OpenAI Node SDK — 最直接的方式场景你需要最强的模型能力不想维护任何推理基础设施。OpenAI Node SDK 就是直接调 API。这听起来很低级但对大多数业务来说这其实是最聪明的选择。为什么模型最新OpenAI 持续优化 GPT-4你自动获得更好的能力成本可控按 token 计费小量使用很便宜无需运维不需要自己管理 GPU、显存、扩容快速迭代API 参数调整可以立即生效实战例子AI 客服助手import OpenAI fromopenai; const openai new OpenAI({ apiKey: process.env.OPENAI_API_KEY }); // 单次对话 const response await openai.chat.completions.create({ model: gpt-4-turbo, messages: [ { role: system, content: 你是一个友善的电商客服用中文回答问题 }, { role: user, content: 我买的东西还没收到什么时候能到 } ], temperature: 0.7, max_tokens: 500 }); console.log(response.choices[0].message.content); // 流式对话实时返回结果 const stream await openai.chat.completions.create({ model: gpt-4-turbo, messages: [ { role: user, content: 给我讲个笑话 } ], stream: true }); forawait (const chunk of stream) { process.stdout.write( chunk.choices[0]?.delta?.content || ); }OpenAI API 的成本GPT-4 Turbo输入输出0.03 / 1K tokens一个普通对话500 tokens约 $0.02月 10,000 条对话约 $200什么时候用 OpenAI SDK✅ 你需要最强的模型能力✅ 你的业务对成本敏感但能承受不是免费✅ 你想快速上线不想等模型训练❌ 你有 super strict 隐私要求数据上传到 OpenAI❌ 你的用户量超大API 成本会很高选型的 5 个常见误区误区 1过度工程化很多开发者看到 AI 就想从零开始训练一个模型。实际上99% 的场景下用现成的模型API 或预训练模型就够了。现实RAG向量检索 LLM 解决 80% 的知识问题微调fine-tuning 比从零训练便宜 100 倍效果更好API 调用 最快、最省心误区 2忽视提示词工程一个烂提示词即使用最强的模型也会输出垃圾。// ❌ 烂提示词 总结这个文本 // ✅ 好提示词 请用中文、100字以内总结以下文本突出关键业务价值 [文本内容] 总结应该包括 1. 主要内容 2. 关键数字/指标 3. 行动建议提示词设计现在是一个真正的工程技能。好的提示词能让 ChatGPT 3.5 的表现接近 GPT-4。误区 3忽视延迟AI API 调用通常需要 500ms ~ 2s。如果你的用户界面每个操作都要等 AI 回应用户会很烦。解决方案提前预测可能的问题后台并发调用用流式响应用户看到逐字输出而不是等待做本地缓存相同的问题不重复调用 API误区 4遗漏可观测性AI 系统有随机性。线上出问题很难调试。// 关键记录所有 AI 交互 logger.info({ prompt: userInput, response: aiOutput, tokens: usage.total_tokens, latency: endTime - startTime, timestamp: new Date() });误区 5不考虑成本API 调用会持续产生费用。假设 - 月活 10 万用户 - 每用户月均 5 次 AI 交互 - 每次调用平均 500 tokens 成本 50 万次 × 500 tokens × $0.00001 ≈ $2500/月 这在早期可能是 showstopper必须考虑。如何选择决策树你的需求是什么 │ ├─ 我需要快速原型 │ └─ → 用 OpenAI SDK最快 │ ├─ 我需要本地运行不上传数据 │ ├─ 是小模型任务分类、摘要 │ │ └─ → Transformers.js │ │ │ └─ 我想自己训练模型 │ └─ → TensorFlow.js 或 Brain.js │ ├─ 我需要连接多个工具向量库、工具调用等 │ └─ → LangChain.js │ ├─ 我有 Python 训练的模型想在 JS 中用 │ └─ → ONNX Runtime Web │ └─ 我只需要文本处理不需要深度学习 └─ → Natural最后这个时代的竞争力十年前懂机器学习的人很稀缺。今年懂如何用 AI 工具快速解决问题的人稀缺。这两种能力不一样。前者需要数学、算法、大量论文阅读。后者需要工程直觉和工具意识——知道什么场景用什么库怎么快速组合怎么识别瓶颈。这是资深工程师的超能力。所以挑一个库用一个小项目试试。不是所有理论都学完了才能用而是边用边学。从 LangChain 开始还是 Transformers.js还是干脆调 OpenAI API选一个开始折腾然后你就会找到自己的风格。深度阅读资源LangChain 官方文档https://js.langchain.com/docsTransformers.jshttps://xenova.github.io/transformers.jsTensorFlow.jshttps://www.tensorflow.org/jsONNX Runtimehttps://onnxruntime.aiOpenAI Node SDKhttps://github.com/openai/node-sdk结尾互动这 7 个库中你最可能在项目中用到哪一个或者更直接的问题是你现在正在做的功能需求里哪个最适合用 AI 来解决如果你已经用过其中某个库欢迎在评论区分享你用它做了什么遇到的坑是什么效果怎么样这样的一线经验往往比我这篇文章更有价值。咱们一起探索。