把一堆表格丢给AI,用人话问一句,它写代码、算数、给你结论和图——这类"数据分析代理"正在被装进越来越多的工具,卖点是不会写代码的人也能拿到分析结果。可这些结论能信吗?今年8月到11月,四项研究拼出了这个行业的真实处境:天花板远比宣传的低,而犯错的方式,比天花板本身更危险。
四项研究里,两篇论文已被学术会议接收——一篇是智能体评测专题研讨会,一篇是大数据与数据科学会议——另外两篇还是预印本。还要交代一句:其中两篇在推自家的系统,基线对比的数字是它们自己测的,得带着一层折扣听。
## 专业出的题,最高通过率38%
先说天花板。13日发布、被评测研讨会接收的一篇论文,让AI干真实的办公室活:70个职场数据请求,由13个领域的从业者亲手写出,每题配完整的工作簿或数据文件,所有文件加起来有218万个填了数据的单元格。专家给每题定下二元评分标准,一共791条,其中"完整性"和"排他性"是硬要求:集合类答案必须找全,而且不能有多余的。判分不靠对字符串,而是一个能打开原始文件的评审代理照细则逐条核,方式是"严格通过"——一次尝试要满足全部标准才算过,"差不多对"一分不给。
结果:20个模型配置,包括各家最前沿的模型,最高的通过率只有38.3%,中位数19.3%。也就是说,面对这些专业题目,最强的模型十次里也有六次交不了合格卷;一半的模型十次过不了两次。作者把70题里的67题留作不公开,只放出3题,为的是防止榜单成绩被针对性练习抬高。
## 更危险的错误,不出声
天花板低,至少是看得见的麻烦。9月的一篇预印本指出了看不见的麻烦:静默错误。它的定义很准——计算成功执行,结果看起来合理,但它回答的根本不是你的问题。数据源选错、范围圈错、统计口径用错,都会产出这种"像是对的"答案。
这篇论文把静默错误分成五类:范围或选择错、变换错、计算错、输出错、编造或无依据的数据。他们审计了一个基线系统在三个基准上的1,054次任务运行:580次失败里,405次——约七成——是把貌似正常的结果悄无声息交到用户手上,而"明说交不出答案"的只有84次。在交付出的结果里,静默错误率41.8%。
他们给出的解法是一个可审计的分析运行时:不指望模型更聪明,而是让模型的每个分析选择都留痕、可查——取数据时保留来源位置,每一步操作登记输入、参数和观察到的结果,新操作跟已有观察冲突时直接拒绝并回传诊断,让代理在错误扩散之前改过来。效果:静默错误降了约三成,"交不出答案"从84个降到24个,交付结果里的静默错误率从41.8%降到28.1%。降幅最大的是变换错误,从12.4%降到3.7%;最难消的是范围或选择错——降了,但仍是最高发的一类。
## 让系统学会"可以不答"
另一篇被大数据会议接收、16日发布的论文,从另一个角度打同一个问题。它先点出行业的两个习惯:一是多数代理"单次作业"——一种解读、一份脚本、一个结果,没有比较就照单接受;二是就算跑了多个候选,通常也用投票来调和,而投票有个结构性缺陷:哪怕所有候选都错,它也总要返回一个答案。
他们的做法是:多个代理并行跑,先两两对决筛一遍,最后由一个领域护栏来裁决——要么选出最好的那个,要么整批否决、弃权,并附上诊断。"可以不答",是投票永远给不出的选项。数字也不差:在一个数据分析基准上,单次作业的基线答对39%,这套流程跑完是71%,收回了53%原本会答错的题;换一个更小的底座模型,38%也能提到63%;换回大底座、再换到第二个独立基准复现,70%变成85%。
这篇论文还顺带回答了一个现实问题:这种保险贵不贵?他们在大底座模型上做了一组3×3的受控实验,把并行代理数和重试预算两头变动,发现两个杠杆大体可以互相替代——一头给足了,另一头再加也没什么增益;小底座上这条规律不成立,加并行始终有增益。换句话说,大模型加保险,存在一个便宜的运行点。
## 最后一公里,不在分析里
错误到底出在哪一步?8月的一个基准给了另一份失败切片。它的设定更接近企业现场:证据散落在数据库、结构化文件、长文档甚至视频里——410个跨语言任务、7,439个文件、共15GB,还当了今年KDD数据挖掘大赛数据代理赛道的官方评测基准。要求代理交出的不是只报一个数,而是完整的表格结果。出题这一侧也不马虎:每个生成的工作空间要先过一套结构校验——主键唯一、外键一致、行数比对——防止建库时因类型转换或去重悄悄丢行。
研究者把最强受测模型的136次失败逐一归因,每次只记最早出现、且决定了最终结果的那个偏差。结果反直觉:最大的一类不是算错,而是"写错"——占52.2%,其中60次是内部结果已经算对、往外交付时增删了列;第二大是把题目本身理解错,占22.8%。两类加起来,四分之三的失败不是出在算的过程里,而是出在交付和审题上。
## 我的判断
第一,数据分析代理最大的危险不是"不会",是"错了不吭声"。最高38.3%的通过率说明天花板确实低,但天花板问题至少表现为"做不出";静默错误则是把貌似合理的答案直接放进你的决策里。当一个基线系统约七成的失败都以静默方式交付时,所有"看起来对"的结论,都该多问一句:它核对过题目吗?
第二,修复的方向,比再刷一轮分数更值钱——把"可以不答的权利"和"审计痕迹"做成系统能力。投票必须给答案,护栏可以整批否决;可审计的运行时不换模型就把静默错误压低了约三成。当然,这两篇的基线数字都是自己测的,方向上的参考价值大于数字上的精确度。
第三,可靠性未必贵。并行数和重试预算可以互相替代、存在便宜的运行点——这让"更可靠的AI分析"有了工程上的落地路径,而不是永远停在演示里。
第四,核验要盯住输出和原题的对应关系。失败的最大头在"写错"和"审题错",意味着人工抽查不一定要重算整个分析,可以先对一遍最终表格的列、范围和统计口径,再决定信不信。
留两个值得吵的问题:你所在的单位采纳AI分析结论之前,该不该要求每条结论都能回溯到源数据的位置?以及,采购数据分析代理时,验收指标里该不该把"静默错误率"排在"答对率"前面?