CVPR 2026 | 复旦开源OmniLottie:首个端到端多模态矢量动画生成框架
论文标题OmniLottie: Generating Vector Animations via Parameterized Lottie Tokens论文地址https://arxiv.org/abs/2603.02138项目主页https://openvglab.github.io/OmniLottie/HuggingFace 权重https://huggingface.co/OmniLottie/OmniLottie代码地址https://github.com/OpenVGLab/OmniLottie数据集地址https://huggingface.co/datasets/OmniLottie/MMLottie-2MBenchmark 地址https://huggingface.co/datasets/OmniLottie/MMLottieBench在线 Demohttps://huggingface.co/spaces/OmniLottie/OmniLottie研究背景当前的动画生成主要聚焦于像素级视频虽然视觉效果逼真但存在三大局限1. 文件体积大不适合网络传输2. 无法无损缩放分辨率受限3. 难以编辑无法提取结构化信息Lottie 作为 Airbnb 开源的矢量动画格式天然解决了这些问题。但如何让 AI 直接生成 Lottie一直是未解决的难题。OmniLottie 能做什么1. 输入单一文本生成 Lottie 动画2. 图像文本生成 Lottie 动画3. 视频重建成 Lottie 动画支持文本/文本图像/视频多模态输入生成对应的无损矢量 Lottie 动画格式。OmniLottie 生成流程生成过程及效果展示〓 OmniLottie 主要演示OmniLottie 开启了 Lottie 动画生成的新范式是首个支持从文本、图像、视频多模态指令端到端生成复杂动画的系列模型。为了解决 Lottie 文件原生 JSON 格式过于冗长的问题我们研发了高效表征的 Lottie Tokenizer。该方案利用精妙的参数化建模实现了✅ 10 倍的数据压缩比✅ 显著降低模型计算负担✅ 确保动画表征的零损耗与完整表达能力MMLottie-2M 数据集OmniLottie 团队还开源了 MMLottie-2M。〓 MMLottie-2M 数据处理流程作为目前业界规模最大的 200 万量级多模态矢量动画数据集它填补了该领域高质量训练数据的空白。通过建立统一的数据格式与评估标准该数据集极大地推动了矢量动画生成领域的标准化进程为社区后续研究提供了坚实的底层支撑。总结OmniLottie 实现了矢量动画生成领域的范式飞跃在技术架构上验证了 “高效参数化表征 多模态 VLM” 是攻克复杂矢量格式生成难题的高效路径。在数据生态上MMLottie-2M 为后续研究提供了前所未有的海量资源支撑。在实际应用上得益于远超现有模型的生成可靠性成功推动 AI 动画生成从实验性探索迈向专业级生产力工具。同时我们始终保持着清醒的行业认知尽管 OmniLottie 实现了质的飞跃但当前系统仍非止境在面对极端复杂的交互场景时仍需进一步的技术攻坚以填补最后的一丝精度缺口。我们认为在现阶段人机协同的创作模式或许比纯粹的无人干预自动化更具现实意义。然而正如互联网与智能手机等颠覆性技术的演进历程初代产品的局限性从未能阻挡其最终重塑世界的步伐。我们坚信OmniLottie 所开启的这一技术范式已然点燃了矢量动画智能创作的火炬终将照亮由 AI 驱动的创意设计未来。更多阅读#投 稿 通 道#让你的文字被更多人看到如何才能让更多的优质内容以更短路径到达读者群体缩短读者寻找优质内容的成本呢答案就是你不认识的人。总有一些你不认识的人知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁促使不同背景、不同方向的学者和学术灵感相互碰撞迸发出更多的可能性。PaperWeekly 鼓励高校实验室或个人在我们的平台上分享各类优质内容可以是最新论文解读也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个让知识真正流动起来。稿件基本要求• 文章确系个人原创作品未曾在公开渠道发表如为其他平台已发表或待发表的文章请明确标注• 稿件建议以markdown格式撰写文中配图以附件形式发送要求图片清晰无版权问题• PaperWeekly 尊重原作者署名权并将为每篇被采纳的原创首发稿件提供业内具有竞争力稿酬具体依据文章阅读量和文章质量阶梯制结算投稿通道• 投稿邮箱hrpaperweekly.site• 来稿请备注即时联系方式微信以便我们在稿件选用的第一时间联系作者• 您也可以直接添加小编微信pwbot02快速投稿备注姓名-投稿△长按添加PaperWeekly小编现在在「知乎」也能找到我们了进入知乎首页搜索「PaperWeekly」点击「关注」订阅我们的专栏吧·