LOADING加载中
港中深联合微软研究院提出ConvexLLM,支持音频免转写接入大模型
香港中文大学(深圳)与微软研究院联合提出多模态统一建模架构ConvexLLM,使音频无需先转写为文本,即可接入大语言模型的知识与推理能力。该架构采用C-Gate,利用冻结词向量的非负加权组合生成音频表示,将声音映射至模型原有文本词向量的凸包之中,实现语音与语言的统一建模,绕过传统语音交互中的文本转写环节。在VoiceBench等多项基准测试中,ConvexLLM取得同量级开源模型领先成绩,其中BBH任务较最强基线高出8.8个百分点。除语音交互外,该架构还支持环境声、音乐等多类音频理解任务。
评论
0