打破视听割裂：通义实验室开源首个链式推理音频生成模型 ThinkSound

当一段猫头鹰振翅起飞的画面在屏幕上闪过，传统音频生成技术可能只会机械地叠加几声鸟鸣，却无法精准捕捉翅膀划破空气的瞬间响动 —— 这种 “视听错位” 的痛点，正是当前 AI 音频生成领域的核心瓶颈。2025 年 7 月，通义实验室推出的首个音频生成模型 ThinkSound，通过将思维链（CoT）推理引入音频生成领域，让 AI 首次具备了 “理解画面逻辑再配音” 的能力。随着代码与模型在 GitHub、HuggingFace 等平台开源，这场 “让画面听懂声音” 的技术革新正在重塑创意产业的音频制作范式。

传统端到端视频转音频（V2A）技术的短板，本质在于缺乏对画面事件的结构化理解。就像新手音效师只能凭直觉匹配声音，AI 往往忽略猫头鹰起飞与振翅声的时序关联，或是将树枝晃动的摩擦声与风声混为一谈。ThinkSound 的突破，在于首次将 CoT 推理链嵌入音频生成流程：通过 “分析画面事件→拆解因果逻辑→合成对应音效” 的三步法，让 AI 学会像专业音效师一样思考。

为支撑这种逻辑推理，通义实验室构建了全球首个支持链式推理的多模态音频数据集 AudioCoT。这个包含 2531.8 小时高质量样本的数据库，不仅覆盖动物鸣叫、机械运转等多元场景，更通过 Grounded SAM-2 与 VideoLLaMA2 的技术组合，实现了 “对象级” 与 “指令级” 样本的精细化标注。例如，在处理猫头鹰视频时，系统会先定位声源区域，再生成专属推理链：“提取鸟鸣时过滤风声→起飞帧添加 0.5 秒振翅音效”，这种结构化数据让 AI 真正理解 “画面元素如何关联声音”。

ThinkSound 的技术架构如同一位分工明确的音效团队：多模态大语言模型（MLLM）负责 “思考”，统一音频生成模型专注 “输出”，两者通过三阶段协作实现视听同步：

系统对视频进行动态特征提取，结合 Qwen2-Audio 生成的音频描述，由 GPT-4.1-nano 输出结构化推理链。以烟花表演为例，AI 会构建 “点燃 – 爆裂 – 回响” 的时序逻辑，确保声音与画面事件的时空对齐。

通过 Grounded SAM-2 追踪每帧声源区域（如车门、脚步声），再借助 VideoLLaMA2 的语义细化，生成更精准的指令。比如处理猫头鹰起飞场景时，模型会针对性地在起飞帧插入振翅声，避免环境噪声干扰。

当用户输入 “在鸟鸣后添加树叶声” 等指令，系统会融合原始 CoT 链与新需求，输出编辑步骤三元组（输入音频 – 指令 – 输出音频）。这种实时交互能力，让 ThinkSound 成为首个支持自然语言音频编辑的多模态模型。

在权威测试集上，ThinkSound 展现出碾压性优势：在 VGGSound 测试集中，其核心指标相比 MMAudio、V2A-Mappe 等模型提升 15% 以上，openl3 空间的 Fréchet 距离从 43.26 降至 34.56，与真实音频的相似度提升超 20%；在影视音效领域的 MovieGen Audio Bench 测试中，其表现全面超越 Meta 的 MovieGen Audio 模型。这种能力直接指向三大应用场景：

随着 ThinkSound 的开源，开发者可通过三大平台（GitHub、HuggingFace、魔搭社区）免费获取模型与代码。通义实验室透露，未来将从三方面拓展：提升复杂环境下的声学推理精度（如暴雨中混杂的脚步声）、集成更多模态数据（如温度、气压对声音的影响），并向元宇宙、虚拟直播等场景延伸。

在技术之外，这场开源更像是一场 “声音民主化” 运动：当每个人都能为童年回忆的老动画、未被记录的梦境片段配上专属音效，AI 不再是冰冷的工具，而成为连接视觉想象与听觉表达的桥梁。正如 ThinkSound 的愿景：打破 “静音画面” 的想象力局限，让每个画面都能找到最贴切的声音叙事。