美团开源LongCat-Video-Avatar1.5数字人框架推理缩至8步
· ME 快讯
ME AI 消息，据 动察 Beating 监测，美团 LongCat 团队开源音频驱动人像视频生成框架 LongCat-Video-Avatar 1.5，全面开放代码与模型权重。本次升级将 Wav2Vec2 替换为 Whisper-Large 音频编码器，旨在提供更强的长视频身份一致性与更广泛的风格泛化能力。 框架改用 Whisper-large-v3 音频编码器，以提升口型同步与唇形动态。Whisper-large-v3 带来的声学表征大幅提升了多语种和跨语言口型生成的稳定性。 为提升时序稳定性，框架在长视频生成中采用多片段滚动推理，以保持角色身份连贯。推理端引入基于 DMD2 的少步步数蒸馏技术，将生成去噪迭代压缩至 8 步，在推理加速至 8 NFE 的同时平衡推理效率与图像保真度。 模型评估基于 508 组 image-audio source pairs 进行测试。众包评估引入 770 名评估者并收集 13240 次判断，另由 10 名专家从物理合理性、协调性、时序稳定性及身份一致性等维度进行评分。官方展示了与 HeyGen、Kling Avatar 2.0、OmniHuman-1.5 的同场对比，重点提升时序稳定性、身份一致性和自然口型。除了写实人像，框架还可泛化至动漫与动物等风格，并原生支持单声道与多声道音频输入。模型权重以 MIT 协议发布。同时，项目页伦理声明称页面展示所用生成内容仅供学术使用，不允许商业使用。实际商用仍需单独核对权重、代码、素材和生成内容边界。 （来源：BlockBeats）