Jina开源v5-omni：练0.35%参数让纯文本库升级四模态检索
· ME 快讯
ME News 消息，5 月 13 日（UTC+8），据 动察 Beating 监测，Jina AI 开源了支持文本、图像、音频和视频的四模态向量模型 jina-embeddings-v5-omni。其核心突破在于极低成本的扩展架构：通过「冻结主干，仅微调连接组件」，让纯文本检索系统直接具备多模态处理能力。 传统多模态模型通常需要整体重训网络。v5-omni 则锁死了原有的纯文本主干模型，仅将视觉和音频编码器接入，并只训练投影层等连接组件。这部分参与训练的参数，仅占模型总权重的 0.35%。 这一架构直接解决了企业升级多模态的兼容难题。由于底层逻辑被锁死，同一段文本在 v5-omni 和旧版 v5-text 下会输出完全一致的向量。这意味着，已经使用 v5-text 建立的庞大文本索引无需推倒重算，企业只需为新增的图音视频建库，就能在原有系统上无缝解锁四模态搜索。 得益于极小的训练负担，模型最高可节省 64% 的显存，训练提速达 3.9 倍。实测显示，约 1.57B 参数的 Small 版本打平了体积近乎其 6 倍的竞品（LCO-Embedding-Omni-7B）。尽管在视频检索等任务上仍有短板，但它验证了一条极具商业价值的演进逻辑：只要文本基座足够强，扩展感知模态的成本可以趋近于免费。 （来源：BlockBeats）