一、业务背景与需求1. 原有痛点传统电商依靠MySQL Elasticsearch 关键词检索存在明显短板仅能匹配字面关键词无法理解语义。例如用户搜「夏天穿的薄款跑鞋」关键词不全则召回结果差相似商品推荐依赖规则/标签人工维护成本高推荐同质化严重商品文案、属性、卖点无法统一做相似度计算。2. 业务范围 数据规模业务综合电商平台主营服饰、鞋靴、日用品存量商品280万条日新增商品 3000接口指标检索接口 QPS 3000P99 响应耗时要求 ≤ 30ms核心功能语义搜索用户自然语言搜索商品相似商品推荐商品详情页「猜你喜欢」低质重复商品排查利用向量相似度做商品去重3. 技术选型最终方案向量引擎阿里云向量检索服务Milvus 托管版免运维、兼容原生Milvus、内网低延迟开发框架SpringBoot 2.7.x Java 8线上主流版本向量化模型阿里云通义千问text-embedding-v1输出1536维浮点向量存储分层MySQL原始商品数据 Milvus商品向量基础属性索引策略HNSW高并发检索场景首选 余弦相似度语义匹配标准算法二、核心问题解答哪些数据需要做向量化这是向量项目落地最关键环节也是区分Demo和真实项目的核心。1. 参与向量化的数据源电商标准组合不单独对某一个字段向量化行业通用做法多字段拼接为一段完整描述文本再统一生成向量保证语义完整性。选取商品核心业务字段字段名说明是否参与拼接商品ID主键唯一标识不参与向量化Milvus主键字段商品名称核心名称✅ 必选商品分类一级/二级分类如鞋靴运动鞋✅ 必选商品规格尺码、版型、材质如网面、透气、低帮✅ 必选商品卖点/短描述营销文案、功能特点✅ 必选品牌名称品牌信息✅ 必选价格、库存、上下架状态业务状态字段❌ 不向量化作为Milvus标量字段过滤2. 文本拼接规则工程化标准格式固定拼接模板保证格式统一避免向量语义混乱Plaintext【品牌】【商品名称】【分类】【材质/规格】【卖点描述】示例原始字段品牌耐克名称男子网面运动跑鞋分类鞋靴 休闲运动鞋规格网面透气、轻便、低帮卖点夏季新款、防滑减震拼接后待向量化文本Plaintext耐克 男子网面运动跑鞋 鞋靴休闲运动鞋 网面透气、轻便、低帮 夏季新款、防滑减震核心逻辑把结构化商品数据转为自然语言文本再交给Embedding模型生成向量语义才能和用户搜索语句对齐。3. 数据流转全链路完整真实流程商品新增/编辑运营后台录入数据 → 数据存入MySQL主库消息解耦MySQL binlog / 业务MQ 触发向量构建任务异步不阻塞主流程文本组装读取商品多字段按规则拼接成完整描述文本生成向量调用Embedding接口文本 → 1536维浮点向量写入向量库商品ID(主键)、基础属性(分类/品牌)、向量 一并存入Milvus在线检索用户输入搜索词 → 搜索词转向量Milvus 执行向量相似度检索 标量过滤过滤下架商品返回相似商品ID → 回查MySQL补全商品详情 → 前端渲染。三、环境与依赖配置1. 阿里云 Milvus 实例信息实例类型阿里云托管 Milvus 2.4内网连接地址c-xxxxxxxx.milvus.aliyuncs.com:19530账号密码实例创建后分配向量维度1536集合名称product_vector_collection2. Maven 依赖线上稳定版本XML?xml version1.0 encodingUTF-8?project xmlnshttp://maven.apache.org/POM/4.0.0xmlns:xsihttp://www.w3.org/2001/XMLSchema-instancexsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsdmodelVersion4.0.0/modelVersionparentgroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-parent/artifactIdversion2.7.18/versionrelativePath//parentgroupIdcom.ecommerce/groupIdartifactIdmilvus-product-search/artifactIdversion1.0.0/versiondependencies!-- Spring Web --dependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-web/artifactId/dependency!-- Milvus Java SDK 兼容2.4版本 --dependencygroupIdio.milvus/groupIdartifactIdmilvus-sdk-java/artifactIdversion2.4.6/version/dependency!-- 阿里云通义Embedding SDK --dependencygroupIdcom.alibaba/groupIdartifactIddashscope-sdk-java/artifactIdversion2.14.0/version/dependency!-- 工具类 --dependencygroupIdorg.projectlombok/groupIdartifactIdlombok/artifactIdoptionaltrue/optional/dependency/dependencies/project3. 配置文件application.ymlYAMLserver:port: 8080# Milvus 配置milvus:host: c-xxxxxxxx.milvus.aliyuncs.comport: 19530username: rootpassword: 你的实例密码collection-name: product_vector_collectionvector-dimension: 1536default-top-k: 12# 通义千问 Embedding 配置dashscope:api-key: 你的阿里云通义API-KEYembedding-model: text-embedding-v1四、代码实现工程化分层贴合线上项目分层说明配置类Milvus 客户端全局单例生产禁止频繁创建客户端工具类文本拼接、Embedding 向量生成独立抽离复用实体类Milvus 存储实体、业务入参/出参服务层集合管理、向量新增、向量检索、数据过滤控制器对外HTTP接口供前端/网关调用1. Milvus 客户端配置类Javaimport io.milvus.client.MilvusClient;import io.milvus.client.MilvusClientV2;import io.milvus.param.ConnectParam;import org.springframework.beans.factory.annotation.Value;import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;Configurationpublic class MilvusConfig {Value(${milvus.host})private String host;Value(${milvus.port})private Integer port;Value(${milvus.username})private String username;Value(${milvus.password})private String password;/*** 全局唯一Milvus客户端单例复用*/Beanpublic MilvusClient milvusClient() {ConnectParam connectParam ConnectParam.newBuilder().withHost(host).withPort(port).withUserName(username).withPassword(password).build();return new MilvusClientV2(connectParam);}}2. 核心工具类文本拼接 向量生成重点还原真实的字段拼接、向量化逻辑Javaimport com.alibaba.dashscope.embeddings.TextEmbedding;import com.alibaba.dashscope.embeddings.TextEmbeddingParam;import com.alibaba.dashscope.embeddings.TextEmbeddingResult;import com.alibaba.dashscope.exception.InputRequiredException;import com.alibaba.dashscope.exception.NoApiKeyException;import org.springframework.beans.factory.annotation.Value;import org.springframework.stereotype.Component;import java.util.ArrayList;import java.util.List;Componentpublic class EmbeddingUtil {Value(${dashscope.api-key})private String apiKey;Value(${dashscope.embedding-model})private String model;/*** 步骤1多字段拼接为待向量化文本电商标准规则*/public String buildProductText(String brand, String productName,String category, String spec, String salesDesc) {// 过滤空值避免无效字符StringBuilder sb new StringBuilder();if (brand ! null) sb.append(brand).append( );if (productName ! null) sb.append(productName).append( );if (category ! null) sb.append(category).append( );if (spec ! null) sb.append(spec).append( );if (salesDesc ! null) sb.append(salesDesc);return sb.toString().trim();}/*** 步骤2文本生成1536维浮点向量*/public ListFloat getEmbeddingVector(String text) throws NoApiKeyException, InputRequiredException {TextEmbeddingParam param TextEmbeddingParam.builder().apiKey(apiKey).model(model).text(text).build();TextEmbedding embedding new TextEmbedding();TextEmbeddingResult result embedding.call(param);ListFloat vector new ArrayList();result.getOutput().getEmbeddings().get(0).getEmbedding().forEach(vector::add);return vector;}}3. 实体类商品向量实体对应Milvus集合字段Javaimport lombok.Data;import java.util.List;/*** Milvus 集合映射实体* 存储商品ID(主键)、品牌、分类、上下架状态、向量*/Datapublic class ProductVectorDO {/** 商品主键IDINT64 非自增 */private Long productId;/** 品牌名称字符串 */private String brand;/** 商品全分类路径 */private String category;/** 上下架状态 0-下架 1-上架标量过滤字段 */private Integer status;/** 1536维向量 */private ListFloat vector;}4. 业务服务层核心逻辑包含创建集合、创建索引、新增商品向量、语义检索Javaimport io.milvus.client.MilvusClient;import io.milvus.param.*;import io.milvus.param.collection.CreateCollectionParam;import io.milvus.param.collection.FieldType;import io.milvus.param.index.CreateIndexParam;import io.milvus.param.dml.InsertParam;import io.milvus.param.dml.SearchParam;import lombok.RequiredArgsConstructor;import org.springframework.beans.factory.annotation.Value;import org.springframework.stereotype.Service;import java.util.*;import java.util.stream.Collectors;ServiceRequiredArgsConstructorpublic class ProductVectorService {private final MilvusClient milvusClient;private final EmbeddingUtil embeddingUtil;Value(${milvus.collection-name})private String collectionName;Value(${milvus.vector-dimension})private Integer vectorDim;/*** 初始化集合 索引项目部署/首次启动执行一次*/public void initCollection() {// 判断集合是否存在boolean exist milvusClient.hasCollection(HasCollectionParam.newBuilder().withCollectionName(collectionName).build()).getData();if (exist) {return;}// 定义字段主键、字符串、整型、向量ListFieldType fieldList new ArrayList();// 1. 商品ID 主键fieldList.add(FieldType.newBuilder().withName(product_id).withDataType(DataType.Int64).withPrimaryKey(true).withAutoID(false).build());// 2. 品牌fieldList.add(FieldType.newBuilder().withName(brand).withDataType(DataType.VARCHAR).withMaxLength(64).build());// 3. 分类fieldList.add(FieldType.newBuilder().withName(category).withDataType(DataType.VARCHAR).withMaxLength(128).build());// 4. 上下架状态用于检索过滤fieldList.add(FieldType.newBuilder().withName(status).withDataType(DataType.Int32).build());// 5. 向量字段fieldList.add(FieldType.newBuilder().withName(product_vector).withDataType(DataType.FloatVector).withDimension(vectorDim).build());// 创建集合milvusClient.createCollection(CreateCollectionParam.newBuilder().withCollectionName(collectionName).withFieldTypes(fieldList).withShardsNum(3) // 分片数根据数据量调整.build());// 创建 HNSW 索引 余弦相似度语义检索标配CreateIndexParam indexParam CreateIndexParam.newBuilder().withCollectionName(collectionName).withFieldName(product_vector).withIndexType(IndexType.HNSW).withMetricType(MetricType.COSINE).withExtraParam({\M\:16,\efConstruction\:80}).build();milvusClient.createIndex(indexParam);}/*** 新增/更新商品向量商品新增、编辑时调用异步执行*/public void saveProductVector(ProductVectorDO product) throws Exception {// 1. 拼接待向量化文本String text embeddingUtil.buildProductText(product.getBrand(),,product.getCategory(),,);// 2. 生成向量ListFloat vector embeddingUtil.getEmbeddingVector(text);product.setVector(vector);// 3. 组装插入参数ListInsertParam.Field fields new ArrayList();fields.add(new InsertParam.Field(product_id, Collections.singletonList(product.getProductId())));fields.add(new InsertParam.Field(brand, Collections.singletonList(product.getBrand())));fields.add(new InsertParam.Field(category, Collections.singletonList(product.getCategory())));fields.add(new InsertParam.Field(status, Collections.singletonList(product.getStatus())));fields.add(new InsertParam.Field(product_vector, Collections.singletonList(vector)));// 4. 写入MilvusmilvusClient.insert(InsertParam.newBuilder().withCollectionName(collectionName).withFields(fields).build());// 强制刷盘保证实时可见milvusClient.flush(FlushParam.newBuilder().addCollectionName(collectionName).build());}/*** 语义检索用户搜索词 → 向量检索 过滤下架商品*/public ListLong searchSimilarProduct(String searchText, int topK) throws Exception {// 1. 搜索词生成向量ListFloat queryVector embeddingUtil.getEmbeddingVector(searchText);// 2. 构建检索条件仅查询上架商品 status 1String filter status 1;// 3. 检索参数SearchParam searchParam SearchParam.newBuilder().withCollectionName(collectionName).withVectorFieldName(product_vector).withQueryVectors(Collections.singletonList(queryVector)).withTopK(topK).withMetricType(MetricType.COSINE).withFilter(filter) // 标量过滤排除下架商品.withOutputFields(Collections.singletonList(product_id)).withParams({\ef\:40}).build();// 4. 执行检索var result milvusClient.search(searchParam);ListLong productIdList new ArrayList();result.getData().forEach(group -group.getResults().forEach(item -productIdList.add(item.getId().getValue().asLong())));return productIdList;}}5. 接口控制器Javaimport lombok.RequiredArgsConstructor;import org.springframework.web.bind.annotation.*;import java.util.List;RestControllerRequestMapping(/api/product/vector)RequiredArgsConstructorpublic class ProductVectorController {private final ProductVectorService vectorService;/*** 初始化集合与索引部署执行一次*/PostMapping(/init)public String init() {try {vectorService.initCollection();return 集合索引初始化成功;} catch (Exception e) {return 初始化失败 e.getMessage();}}/*** 同步商品向量商品新增/编辑调用*/PostMapping(/save)public String save(RequestBody ProductVectorDO product) {try {vectorService.saveProductVector(product);return 向量保存成功;} catch (Exception e) {return 向量保存失败 e.getMessage();}}/*** 语义搜索接口前端调用*/GetMapping(/search)public ListLong search(RequestParam String keyword,RequestParam(defaultValue 10) Integer topK) {try {return vectorService.searchSimilarProduct(keyword, topK);} catch (Exception e) {e.printStackTrace();return Collections.emptyList();}}}五、真实业务调用演示 数据流向验证1. 场景1商品录入生成向量并入库请求示例新增一条跑鞋商品HTTPPOST /api/product/vector/save{productId: 10001,brand: 耐克,category: 鞋靴休闲运动鞋,status: 1}执行流程工具类拼接文本耐克 鞋靴休闲运动鞋调用通义Embedding生成1536维向量商品ID、品牌、分类、状态、向量 全部写入Milvus2. 场景2用户语义搜索请求HTTPGET /api/product/vector/search?keyword夏季透气运动跑鞋topK5执行流程搜索关键词夏季透气运动跑鞋转为向量Milvus 执行余弦相似度检索同时过滤status1仅上架商品返回Top5相似商品ID[10001,10005,10009...]业务层根据ID查询MySQL拼接商品详情返回前端。六、线上生产规范 踩坑总结真实运维经验1. 数据向量化规范禁止单字段向量化单一字段语义残缺检索效果极差统一拼接格式全项目使用同一套拼接模板否则向量空间不匹配空值过滤字段为空时不要拼接无效字符干扰语义。2. 架构优化线上必做向量构建异步化商品新增/编辑走MQ异步生成向量不要同步阻塞主业务批量导入历史存量280万商品使用Milvus批量插入接口单批次500条冷热分离长期滞销商品可迁移至低成本索引降低内存开销。3. Milvus 使用避坑生产环境必须使用阿里云内网地址公网仅用于测试向量维度一旦确定集合无法修改维度改维度只能重建集合HNSW索引适合高并发检索数据量超千万不建议用FLAT全量检索标量过滤提前规划上下架、分类、价格区间减少无效向量召回。4. 性能指标线上真实数据数据总量280万商品向量1536维平均检索耗时12~20msP99耗时28ms峰值QPS3200对比传统ES语义搜索召回率提升 38%相似推荐点击率提升 22%七、拓展延伸商品去重利用向量相似度设置阈值余弦分0.85判定为重复商品多级过滤向量召回后再叠加价格、地区、优惠券等业务规则二次筛选缓存搭配热点检索结果搭配Caffeine本地缓存进一步降低Milvus压力。八、总结本案例完全还原电商行业向量检索落地标准流程明确了结构化字段 → 文本拼接 → 向量化的完整数据链路结合业务状态做标量过滤贴合线上真实业务采用异步、批量、内网部署等工程化方案可直接上生产附带真实性能指标、运维规范与踩坑经验。Milvus搭配SpringBoot可以快速落地语义检索、相似推荐等AI场景是传统业务AI化的优选方案。