1. 项目概述当推荐系统不再依赖显式ID在推荐系统领域我们早已习惯了“用户ID”和“物品ID”的存在。无论是协同过滤的经典公式还是深度学习的Embedding层ID特征就像推荐引擎的“身份证”是构建用户画像和物品画像最直接、最稳定的锚点。然而一个正在悄然兴起的研究方向正试图挑战这个看似不言自明的基石构建不依赖任何显式ID特征的推荐系统。这个名为“Recommendation Systems without Explicit ID Features: A Literature Review”的项目正是对这一前沿领域的系统性梳理。它探讨的核心问题是当我们无法获取或不愿使用用户和物品的明确标识符时推荐系统该如何工作这并非一个纯粹的学术猜想而是源于日益严峻的现实挑战。随着数据隐私法规如GDPR、CCPA的收紧平台对用户匿名化处理的要求越来越高直接存储和使用用户ID变得敏感且合规成本高昂。在新用户冷启动、新物品上架、跨域推荐以及联邦学习等场景下ID的缺失或不可用更是常态。这个项目综述就是为这些“无ID”的困境寻找一套可行的技术地图。对我而言深入这个领域就像是在为推荐系统寻找“第二曲线”。当那条最熟悉、最平坦的ID大道因为隐私围墙或数据稀疏而变得崎岖难行时我们必须学会观察路边的风景——用户的行为序列、文本内容、图像信息、时空上下文这些非ID的“弱信号”能否被编织成一条同样坚固甚至更具泛化能力的绳索这不仅关乎技术方案的丰富性更关乎推荐系统在下一个十年能否在保护用户隐私的前提下持续提供精准、个性化的服务。接下来我将结合这篇综述的核心脉络以及我个人在相关技术落地中的实践经验为你拆解“无ID推荐”的四大核心路径、关键技术细节以及那些只有踩过坑才知道的实操要点。2. 核心范式解析四大主流技术路径脱离ID的推荐本质上是将建模的核心从“谁”和“什么”转向“如何”和“在什么情境下”。根据对用户和物品信息的利用方式当前主流研究大致可归纳为四类范式每种范式都对应着不同的假设条件和应用场景。2.1 基于内容的推荐从物品本质出发这是最直观的“无ID”方案。既然没有ID来标识物品那就用物品自身的属性来描述它。对于一篇文章我们可以用其标题、摘要、正文的TF-IDF向量或BERT等预训练模型生成的文本向量来表示。对于一件商品可以用其品类、品牌、价格、颜色、材质等结构化属性以及主图通过CNN提取的视觉特征来表征。核心逻辑通过计算用户历史交互过的物品内容特征如点击过的文章向量的聚合如平均池化得到一个“内容偏好向量”。然后计算该偏好向量与候选物品内容特征之间的相似度如余弦相似度进行排序推荐。优势与局限优势完全规避了ID需求天然解决物品冷启动问题。可解释性强“因为您喜欢科技类文章所以推荐这篇”。局限严重依赖高质量、丰富的物品内容特征。容易陷入“信息茧房”推荐多样性不足难以发现用户潜在的新兴趣。更重要的是它本质上并非完全“无用户ID”因为它仍然需要将用户的历史行为序列绑定到某个匿名但持久的标识上如设备ID、Cookie以构建用户画像。它解决的是“物品侧无ID”而非彻底的“双边无ID”。实操心得在内容特征工程上不要迷信单一模型。我们曾在一个新闻推荐项目中将文章的标题BERT向量、正文LDA主题分布以及人工打上的几个关键标签如“突发”、“深度分析”进行多模态融合效果远好于仅使用BERT。关键在于不同特征捕获了不同粒度的信息。2.2 基于行为的序列建模时间是新的ID当明确的用户ID缺失时用户的行为序列本身成为了其身份的“动态指纹”。这一范式认为用户短期内的连续行为如点击、观看、购买序列比一个静态的ID更能反映其即时兴趣和意图。核心技术循环神经网络RNN/LSTM/GRU、Transformer如BERT4Rec、SASRec等序列模型。模型将用户的行为序列由物品的内容特征向量或匿名物品索引组成作为输入预测下一个可能交互的物品。核心假设用户的下一个行为主要受其近期行为序列的影响而非一个全局、静态的用户ID表征。优势与局限优势能有效捕捉动态兴趣漂移在会话推荐Session-based Recommendation场景下表现卓越。无需长期用户画像对匿名用户友好。局限对于行为序列非常短如全新用户或非常稀疏的用户建模效果会大打折扣。它依然需要一个会话IDSession ID来界定序列的范围并未完全摆脱“标识符”。2.3 基于自监督学习的对比学习创造代理任务这是近年来最火热的方向。既然没有ID作为监督信号我们就自己构造监督信号。对比学习的核心思想是通过数据增强创造同一用户或物品的不同“视图”views然后拉近这些正样本视图的表征距离同时拉远与其他用户负样本视图的距离。常见代理任务行为序列增强对用户的行为序列进行随机掩码、重排、裁剪或添加噪声生成两个增强版本。模型学习让这两个版本的表征尽可能相似。多视图对比利用用户的多模态数据如点击序列、搜索词、地理位置作为不同的视图进行跨模态对比学习。图结构增强在用户-物品交互图上对边或节点进行随机丢弃DropEdge/DropNode生成不同的子图进行对比。通过完成这些代理任务模型能够学习到高质量、信息丰富的用户和物品表征而无需依赖ID标签。优势与局限优势能充分利用海量无标签数据学习到对数据噪声和稀疏性更鲁棒的表征。泛化能力强特别适合冷启动场景。局限数据增强策略的设计需要大量领域知识和调参。负样本的选择策略对效果影响巨大不当的负样本可能导致模型坍塌或学习到平凡解。2.4 基于联邦学习与差分隐私从集中式到分布式建模这是一种从系统架构层面回应隐私挑战的范式。联邦学习允许模型在用户设备本地进行训练只上传模型更新梯度而非原始数据包括行为序列从而在理论上避免中央服务器收集能关联到具体用户ID的敏感数据。差分隐私则通过在数据或梯度中加入精心设计的噪声使得攻击者无法从发布的模型或统计信息中推断出任何单个用户的参与。在无ID推荐中的角色联邦学习使得平台可以在不集中存储用户行为数据自然也就无需用中央ID关联这些数据的情况下训练一个全局推荐模型。每个本地设备上的用户用自己的匿名化行为数据参与训练。优势与局限优势从源头保护隐私符合最严格的合规要求。是解决“数据孤岛”问题、进行跨平台联合推荐的有力工具。局限通信开销大对设备算力和网络稳定性有要求。非独立同分布Non-IID的用户数据会严重影响联邦模型的收敛和效果。目前性能与中心化训练相比仍有差距。3. 关键技术细节与模型架构剖析理解了宏观范式我们深入到几个关键模型的内部看看它们是如何具体实现“无ID”推荐的。这里我选择两个最具代表性的架构进行拆解。3.1 SASRec基于Transformer的纯序列模型SASRecSelf-Attentive Sequential Recommendation是会话推荐领域的里程碑工作。它完全摒弃了用户ID和物品ID的Embedding仅使用物品在序列中的位置信息Positional Encoding和物品本身的Embedding可以是随机初始化也可以由内容特征初始化。模型工作流程输入层对于一个长度为n的行为序列[item1, item2, ..., itemn]为每个物品查找其对应的d维Embedding得到一个n x d的矩阵。位置编码为序列中每个位置生成一个独特的d维位置向量与物品Embedding相加以注入顺序信息。Transformer编码层核心是多头自注意力机制。它允许序列中的每个物品“关注”序列中的所有其他物品自适应地学习到哪些历史行为对预测下一个行为更重要。例如在预测用户看完一部科幻片后要看什么时模型可能会更关注他最近看过的另一部科幻片而不是一周前看的一部纪录片。输出层取最后一个时间步的隐藏状态代表了融合了整个序列信息的上下文向量与所有候选物品的Embedding做内积得到分数并进行排序。为什么有效Transformer的自注意力机制赋予了模型强大的序列建模能力能够捕捉长期依赖关系。它不关心用户是谁没有用户ID只关心用户刚刚做了什么以及做的顺序。这非常符合许多实际场景比如用户在未登录状态下的单次购物会话或新闻浏览。注意事项SASRec对序列长度敏感。过短的序列信息不足过长的序列则可能受限于计算复杂度且早期不重要的行为会产生噪声。实践中我们通常截取最近50-100个交互作为序列。另外物品Embedding的初始化至关重要如果能有预训练的内容特征向量作为初始化效果通常会比随机初始化好很多。3.2 SimCLR在推荐中的应用构建行为序列的对比视图SimCLRA Simple Framework for Contrastive Learning of Visual Representations最初用于图像但其思想被成功迁移到推荐中。这里以行为序列为例阐述如何构建对比学习任务。关键步骤数据增强对于一个用户的行为序列应用两种不同的随机增强变换生成两个相关的视图。对于行为序列有效的增强方式包括随机掩码随机将序列中一定比例如20%的物品替换为特殊的[MASK]标记。随机裁剪从原序列中随机截取一个连续的子序列。重排在局部窗口内轻微打乱物品顺序需谨慎可能破坏严格时序。物品特征噪声在物品的Embedding上添加高斯噪声。编码器使用一个共享权重的序列编码器如GRU或Transformer分别处理两个增强后的序列得到两个序列级别的表征向量z_i和z_j。投影头将表征向量映射到一个更适用于对比学习的空间得到h_i和h_j。这是一个简单的多层感知机MLP。对比损失计算h_i和h_j的相似度作为正样本对得分。对于一个批次Batch内的其他所有增强序列的表征均视为负样本。使用InfoNCE损失函数目标是最大化正样本对的相似度同时最小化与所有负样本的相似度。模型学到了什么通过这个训练过程模型被迫学会识别出那些经过各种“破坏”后仍然属于同一用户兴趣本质的序列。它学习到的序列表征z对数据增强和噪声具有不变性因此更加鲁棒和泛化。在推理时我们可以直接使用这个鲁棒的表征z来寻找相似的用户用于协同过滤或与物品表征计算匹配度。4. 实操流程从零构建一个无ID新闻推荐原型理论需要实践来检验。下面我将以“基于内容与序列混合建模的无ID新闻推荐”为例勾勒一个简化的实操流程。假设我们只有新闻的文本内容和用户的匿名点击日志。4.1 数据准备与特征工程物品新闻侧特征文本向量化使用预训练的Sentence-BERT模型为每篇新闻的标题和摘要生成768维的向量。将两者平均池化得到最终的新闻内容向量V_content。类别标签将新闻的人工分类如“体育”、“科技”、“财经”进行多热编码Multi-hot Encoding。融合特征将V_content和类别编码向量拼接形成一个高维的新闻混合特征向量。随后通过一个全连接层进行降维和融合得到最终的新闻表征E_item。用户行为数据数据格式[anonymous_session_id, timestamp, news_id, ...]。这里没有user_id只有每次会话的ID。序列构建按anonymous_session_id分组根据timestamp排序得到每个会话的点击新闻序列。过滤掉长度小于3的会话。序列向量化将序列中的每个news_id替换为其对应的新闻表征E_item。这样一个序列就变成了一个矩阵[seq_len, embedding_dim]。4.2 模型设计与训练我们设计一个简单的双塔模型结合了内容匹配和序列信息。用户塔序列塔输入用户当前会话的新闻表征序列矩阵。结构使用一个单层Bi-LSTM或Transformer Encoder处理序列取最后一个时间步的隐藏状态或[CLS] token的状态作为用户当前兴趣的会话表征V_session。意图Bi-LSTM能同时捕捉前向和后向的依赖对于浏览行为而言用户可能因为看了后面的文章才对前面的文章有更深的理解双向结构能捕获这种微妙的联系。物品塔候选新闻塔输入候选新闻的表征E_item。结构一个简单的MLP用于将新闻表征映射到与用户表征相同的语义空间得到V_candidate。这里MLP的作用是进行特征变换和交互让用户和物品表征在同一个空间里可比。匹配与训练计算用户会话表征V_session与候选新闻表征V_candidate的余弦相似度作为预测分数。损失函数使用交叉熵损失或更先进的Sampled Softmax损失。对于每个正样本用户点击的下一篇新闻在批次内随机采样若干负样本用户未点击的新闻。训练技巧引入In-batch Negative Sampling。即在一个训练批次中其他样本的正样本物品自动作为当前样本的负样本。这能高效地利用计算资源增加负样本的多样性和难度。4.3 线上服务与推理物品向量预计算离线将所有新闻通过物品塔计算好V_candidate存入向量数据库如Faiss, Milvus。用户向量实时计算当匿名用户产生新的会话行为时实时用用户塔序列模型根据其当前点击序列计算出V_session。近似最近邻搜索将V_session发送到向量数据库进行近似最近邻搜索返回Top-K个最相似的V_candidate对应的新闻ID完成推荐。核心避坑点线上推理的延迟至关重要。序列模型尤其是Transformer的实时计算可能成为瓶颈。常见的优化策略包括1使用更轻量的序列模型如CNN或浅层LSTM2对用户向量进行缓存在短时间如几分钟内同一会话的请求复用上次计算的向量3将用户塔的计算也部分离线化定期如每5分钟根据用户最新行为更新其向量并缓存。5. 挑战、对策与未来展望无ID推荐并非银弹它在落地过程中面临一系列独特挑战。5.1 冷启动问题的两面性物品冷启动优势凸显。基于内容的方法天然解决新物品推荐问题只要提取出新物品的内容特征即可计算其与用户兴趣的匹配度。用户冷启动挑战严峻。对于完全没有历史行为的全新匿名用户即“完全冷启动”所有依赖历史行为的方法均失效。此时只能依赖非个性化推荐热门榜、编辑推荐。上下文信息利用请求时的地理位置、时间、设备型号、来源渠道等进行粗粒度人群划分实施“上下文感知”的推荐。渐进式探索在用户开始产生少量交互后迅速切换到序列模型或对比学习模型并可能结合Bandit等探索算法快速挖掘兴趣。5.2 用户长期兴趣建模的困境没有长期稳定的用户ID意味着很难构建一个持续演进、积累的长期用户画像。用户换一个设备、清空Cookie或者仅仅过了一段时间就会被系统视为一个全新的“陌生人”。应对策略隐式身份关联尝试利用弱信号进行跨会话的用户关联例如使用稳定的设备指纹需谨慎合规、登录邮箱的哈希值、或通过行为模式聚类。但这本身就是一个难题且涉及隐私。兴趣迁移学习将在一个领域如已登录状态学到的用户兴趣知识迁移到匿名会话领域。这需要模型具备强大的泛化和领域适应能力。强调短期与实时接受“长期兴趣”建模的局限性将工程和算法的重点极致地投入到对短期会话意图的捕捉和实时反馈上做到“当下最优”。5.3 评估指标的重新思考在无ID场景下传统的基于用户ID划分训练集/测试集并评估每个用户整体推荐效果的方法可能不再适用。更依赖会话级评估评估指标应侧重于会话内预测精度如Session-based MRR20, NDCG20。重视“立即满足”由于无法做长期留存分析应更关注点击率CTR、转化率CVR、停留时长等即时反馈指标。A/B测试的复杂性如何对匿名流量进行持续、一致的A/B测试分组是一个工程挑战。通常需要依赖更稳定的上下文标识如首次访问生成的UUID来实现。5.4 未来可能的技术融合方向在我看来无ID推荐不会完全取代有ID推荐而是会与之融合形成分层、弹性的推荐体系。混合系统系统同时维护两套推荐逻辑。对于有登录ID的用户使用强大的ID-based深度模型对于匿名会话则切换到轻快精准的无ID序列模型。两者可以共享底层的物品内容理解模块。超图与元学习利用超图Hypergraph对用户、物品、内容特征、上下文等多种异构关系进行统一建模而不依赖于单一的用户-物品交互图。元学习Meta-Learning则可以帮助模型快速适应新用户或新会话用极少的交互样本更新用户表征。生成式推荐随着大语言模型LLM的崛起将其作为强大的内容理解和推理引擎直接根据用户当前的会话历史自然语言描述的形式和候选物品的文本描述生成推荐理由和排序是一条极具潜力的新路径。LLM本身不依赖ID而是依赖语义理解。无ID推荐的研究与实践正在推动推荐系统从“认人”走向“认事”从依赖静态身份走向理解动态意图。这不仅是技术上的演进更是产品理念和隐私伦理上的一次重要校准。作为一名从业者我的体会是拥抱这种变化不是选择而是必然。它要求我们更深入地理解数据本身的内涵更精巧地设计模型结构在隐私保护与个性化体验之间寻找那个动态的最优平衡点。这条路充满挑战但也正因为如此每一次有效的实践都显得格外有价值。