「多模态」是模型发布里出现频率最高的词之一:能看图、能听声音、能读图表,能围绕一张图片回答问题。这个词本来只描述一件事,就是输入走哪些通道。但在传播里,它经常被读成另一种承诺:只要模型接收了图像和声音,它的感知就和人一样可靠。2022 年到 2024 年挂出的一批研究,从不同角度检验了这个承诺,结果并不乐观:最先进的模型在人类期望满分的视觉题上大面积出错;不看图也能在主流基准上拿到高分;描述图片时会说出图里没有的东西。本文对照六份摘要级材料,分四层展开:表征层、感知层、度量层,外加声音一侧,问一个问题:模型到底是在看图,还是在按语言习惯猜图里该有什么?
## 图文之间有一道可以测量的沟
2022 年 3 月挂出的一篇论文(摘要页栏所载:NeurIPS 2022 发表)在表征层给出了一个精确的回答:图像和文本在模型内部并没有真正合并。作者把它称为「模态差距」,一种可以测量的几何现象:在 CLIP 这类多模态模型的共享表征空间里,两种模态的表征分处两地,中间隔着一段距离,作者的说法是「一臂之距」(at arm's length,照录)。
这道沟不是训练事故,而是两个环节的共同产物。第一是初始化:深度神经网络的表征被限制在一个狭窄的锥体(narrow cone,原文照录)里,两个各自初始化的编码器从一开始就分处两地。第二是对比学习的优化过程:损失函数让不同模态之间保持一段距离,距离的大小受温度参数影响。作者还发现,改变这道沟的宽度,会显著影响下游的零样本分类性能与公平性。
这篇论文对本文的意义在于:图文融合是工程目标,不是默认完成的状态。在谈感知质量之前,「多模态」要先过表征层这一道几何上的沟。
## 可以复现的盲点
2024 年 1 月挂出的一篇论文把问题追到了视觉部件本身。论文的出发点:近年多模态大模型的视觉能力,通常只依赖用实例级对比学习预训练的 CLIP 这一种部件。作者构造了一批「CLIP 盲对」,就是 CLIP 认为相似、视觉上却明显不同的图像对,并在此基础上建成 MMVP 基准,覆盖九类基本视觉模式。包括 GPT-4V 在内的最先进系统,在这些模式的直接问题上大面积出错,还为自己的错误答案给出「幻觉的解释」(原文照录)。更麻烦的是,难倒 CLIP 的视觉模式,与难倒多模态大模型的模式显著相关:部件的错误会传导给整个系统。
作者也给出了初步修复:把视觉自监督学习的特征融合进来(MoF 方法),能显著增强视觉落地(visual grounding)能力。他们把这项工作的定位限定为「初步的努力」(原文照录)。论文的结论是:视觉表征学习仍是开放挑战,准确的视觉落地对未来的多模态系统至关重要。
## 最简单的任务,最大的落差
2024 年 7 月挂出的一篇论文把测试换了一个方向:不问复杂理解,只问最简单的观察。作者设计了 BlindTest,七项极简单的任务:两个圆是否重叠,两条线相交几次,一个单词里被圈住的是哪个字母,一个奥运样式的标志里有几个圆。这些题对人类的期望正确率是 100%。四个最先进的视觉语言模型平均只有 58.07%;表现最好的 Claude 3.5 Sonnet 也只有 77.84%。
失败的方式很有规律:换不同的图像分辨率和线宽,甚至换成慢思考模型,模型在几何基元相近或重叠的场景里持续出错;而把图形和字母之间的间距拉大,正确率就接近 100%。也就是说,问题不出在「看不见」,而出在「靠得近」时的空间关系处理。
这篇论文最重要的发现在它的副标题里(现行版本标题含副题,中译大意:把细节视觉特征翻译成语言的失败):线性探针(linear probing)实验显示,视觉编码器里已经含有解决这些任务的足够信息,是语言模型没能把这些信息解码成正确答案。信息在,坏在翻译成语言的环节。
## 说出图里没有的东西
2023 年 5 月挂出的一篇论文(摘要页栏所载:EMNLP 2023 接收)研究了另一类证据:物体幻觉,就是模型在描述图片时,生成与目标图像不一致的物体。作者称这是大型视觉语言模型物体幻觉的第一个系统研究(原文限定),发现多数代表性模型都存在严重的物体幻觉。
关键的发现是,幻觉不是随机的:在视觉指令中高频出现的物体,或与图像中物体经常共现的物体,明显更容易被幻觉出来。换句话说,模型不只在描述它看到的东西,还在按「这类场景通常有什么」的语言习惯往下补。这正是「猜该有什么」的一种表现:补什么,跟着数据频率走。
作者还发现,现有的评测方法会受输入指令和生成风格的影响,于是提出 POPE,一种轮询式提问的评测方法,让物体幻觉的评估更稳定、更灵活。
## 不看图也能得分
2024 年 3 月挂出的一篇论文把矛头对准了评测本身。作者深挖现行的视觉语言模型评测,指出两个问题。第一,许多样本根本不需要视觉内容:答案可以直接从问题和选项推出,或者来自语言模型内嵌的世界知识,而且这种现象在现行基准里普遍存在。实测:GeminiPro 在没有任何视觉输入的情况下,在 MMMU 基准上得到 42.9%,在六个基准上平均高出随机选择基线 24% 以上。第二,训练中存在无意的数据泄漏:Sphinx-X-MoE 不访问图像,在 MMMU 上得到 43.6%,比它自己的语言模型骨干还高 17.9%,说明部分「必须看图」的题,模型在大规模训练数据里早就记住了。
两个问题指向同一个后果:多模态的真实增益被误判,后续研究可能被误导。作者的应对是 MMStar:1,500 个人工精选的样本,覆盖 6 项核心能力和 18 个细分维度;每道题先由自动管道粗选,再经人工复核,确保视觉依赖、数据泄漏最小、且需要高级的多模态能力;另设两个度量,分别衡量数据泄漏和多模态训练的真实增益。作者用它评测了 16 个领先模型,并在 7 个基准上复核了泄漏与真实增益。
## 声音这一侧
2024 年 6 月挂出的一篇论文把问题延伸到听觉。AudioBench 覆盖 8 项任务和 26 个数据集(其中 7 个新提出),评估三个方面:语音理解、音频场景理解、嗓音理解(副语言,paralinguistic)。作者指出一个缺口:音频大模型缺乏在音频条件下指令跟随能力的综合基准。评测五个流行模型之后的结论照录:没有任何单一模型能在所有任务上持续领先。
本文在声音一侧只有一份基准摘要可引,没有视觉一侧那样的系统性盲点研究可对照。就这一份而言,结论与视觉一侧同构:接入一个输入通道,不自动换来这个通道上的可靠表现;而且声音的评测版图更碎,「全能」的说法更难成立。
## 三个判断
第一,失败是系统性的,不是随机噪声(本文综合)。四条证据方法互不相同,方向一致:图文之间的沟可以在表征空间里几何测量(2022);盲点可以按九类基本视觉模式成对构造出来(2024 年初);失败集中在几何基元相近或重叠的场景,间距拉大即恢复(2024 年中);幻觉的频率与语言指令中的出现频率和共现关系相关(2023)。随机出错不会有这样的结构。所以「多模态」是输入通道的描述,不含感知质量的承诺,两者不能混着读。
第二,高分不等于真用了视觉(本文判断)。42.9% 和 43.6% 是在零视觉输入条件下、在主流基准上实测出来的分数;语言先验和训练记忆都能把分数抬上去。把一个多模态基准的分数读成多模态能力之前,要先核对每道题是不是真的需要视觉;不然分数显示的「进步」,可能只是语言和记忆的进步。
第三,可靠性要按模态、按任务分别核对,模型的自述不能当核对依据(本文判断)。线性探针显示,视觉信息在编码器里,瓶颈在翻译成语言的环节,所以同一个模型换一种任务形态,错误的分布就会变;声音一侧的评测更碎,没有模型全面领先。而幻觉研究显示,模型的自述里本来就掺着图里没有的东西,所以「模型自己说看见了」不能当作看见的证据。
## 不同读者能带走什么
给使用多模态模型的产品团队:把「支持图像和声音输入」当成通道描述,不要当成质量承诺;上线前用自己业务里的真实样本测感知,尤其是空间关系、细节和计数,不要拿公开基准的分数推断自己场景下的可靠性。给评测研究者:样本需不需要视觉,是可以实测的,把视觉输入拿掉重测一遍就行;42.9% 和 43.6% 两个数字说明,这个测试值得成为多模态基准的常规动作。给智能体开发者:感知错误有固定的高发区,几何基元越近、越重叠越容易出错;给关键动作写核对环节,核对的依据放在模型外部,不要让模型自证看过。给普通读者:下次看到模型对一张图片侃侃而谈,可以记得流畅有两个来源,一个是看,一个是语言习惯里「这类图通常有什么」;同一批模型,把图形间距拉大,正确率就能从大面积出错跳到接近满分,你看到的「在看」,未必是看。
口径与边界:本文六项来源均为 arXiv 摘要级材料,全文未获取,摘要未载的内容不写。日期为各摘要页的首次挂出日期;其中 2024 年 7 月一篇经过多次修订,现行官方标题含副题,本文按现行标题指称,实验数字按现行版本摘要所载。会议状态仅按摘要页栏目所载照录:2022 年一篇载 NeurIPS 2022 发表,2023 年一篇载 EMNLP 2023 接收;其余四篇无会议栏,本文不对其发表状态作断言,也不由项目页或代码库反推。文中出现的模型与基准名(GPT-4V、Claude 3.5 Sonnet、GeminiPro、Sphinx-X-MoE,以及 CLIP、MMVP、BlindTest、POPE、MMMU、MMStar、AudioBench、MoF)均为摘要原文专名,作为被测系统与评测方法照录,不构成对产品的评价。作者姓名不入正文,论文以挂出年份与会议栏指称。利益冲突:六份摘要页均无披露栏,本文不作有无断言。本文对修复方案只在摘要所载范围内提及(如 MoF),不展开训练与工程细节;声音一侧的讨论限于一份摘要的范围,不代表该领域全貌。译法:modality gap 译「模态差距」,arm's length 译「一臂之距」,narrow cone 译「狭窄的锥体」,linear probing 译「线性探针」,visual grounding 译「视觉落地」,paralinguistic 译「副语言」,首现均附英文。
来源:arXiv 摘要页六枚:2203.02053《Mind the Gap: Understanding the Modality Gap in Multi-modal Contrastive Representation Learning》,2022 年 3 月 3 日,NeurIPS 2022 发表;2305.10355《Evaluating Object Hallucination in Large Vision-Language Models》,2023 年 5 月 17 日,EMNLP 2023 接收;2401.06209《Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs》,2024 年 1 月 11 日;2403.20330《Are We on the Right Way for Evaluating Large Vision-Language Models?》,2024 年 3 月 29 日(https://arxiv.org/abs/2403.20330);2406.16020《AudioBench: A Universal Benchmark for Audio Large Language Models》,2024 年 6 月 23 日;2407.06581《Vision language models are blind: Failing to translate detailed visual features into words》,2024 年 7 月 9 日