2023 年秋天,土耳其一所高中把近千名学生变成了一场实验的受试者。九到十一年级、四次 90 分钟的数学练习课上,研究者部署了两个 AI 导师,都由 GPT-4 驱动:一个就是标准的聊天界面,想问什么问什么;另一个做了定制——系统提示里预置了每道题的完整解法和教师总结的常见错误,并被明确要求不许直接给答案。练习的成绩单漂亮得惊人:用普通聊天版的学生,成绩比对照组高 48%;用定制版的高 127%。然后研究者做了关键一步:把 AI 收走,让所有学生裸考。用普通聊天版的学生,考试成绩比从头到尾没碰过 AI 的对照组还低 17%。练习时涨的每一分都没有留下,还倒欠了一截。定制版那组则与对照组基本持平——没有增益,但也没有亏空。这项由宾夕法尼亚大学团队主导、发表在 PNAS 上的随机对照试验,论文标题给得直接:《没有护栏的生成式 AI 会损害学习》。
为什么这件事值得每个关心学习的人——家长、学生、自学者——停下来想一想?因为它戳破了一个正在流行的直觉:工具越强,学习效果越好。这两个导师背后是同一个模型,结局却方向相反。差别不在智能,在设计。
## 一个四十年的旧梦
"人人有一位好导师"不是新想法,而是教育学里悬了四十年的老问题。1984 年,芝加哥大学教育心理学家本杰明·布卢姆发表了一篇后来被反复引用的论文,提出了"2 sigma 问题"。他综合两名博士生的对照实验发现:接受一对一辅导加上掌握学习法(每步都有形成性测验和即时纠错)的学生,平均成绩比常规班级(约 30 人一个老师)高出两个标准差——平均分超过了对照组 98% 的学生;约九成受辅导学生达到了对照组只有前 20% 才能达到的水平。只用掌握学习法、不给一对一,效果减半:高一个标准差,超过 84% 的学生。
布卢姆的判断很清醒:一对一辅导"对大多数社会来说成本高到无法大规模承担"。于是他把它变成一个悬赏问题——能不能找到让群体教学逼近一对一效果的方法?
四十年里最接近的答案,出现在大模型登场之前。2016 年,密歇根大学的 Kulik 与国防分析研究所的 Fletcher 对 50 项智能辅导系统(ITS)的对照评估做了元分析:中位效应 0.66 个标准差,相当于把学生从第 50 百分位抬到第 75 百分位——比文献里典型人类辅导项目的约 0.4 个标准差还高(口径说明:布卢姆的 2σ 量的是"最优一对一+掌握学习"的组合,元分析量的是形形色色的普通辅导项目,两个数字不矛盾)。但 0.66 距离 2σ 仍然遥远,而且老一代 ITS 依赖预先编写的知识模型,出了预设题目就寸步难行。
大语言模型第一次让这个旧梦看起来可行:对话是活的,内容不再受限于预置题库,边际成本趋近于零。问题是,梦的实现方式比想象中挑剔得多。
## 先说好消息:设计对了,效果惊人
2023 年秋,哈佛大学最大的物理入门课上,Kestin 和 Miller 团队做了一场交叉随机对照试验:194 名学生每人各上一节 AI 导师课和一节面授主动学习课,次序随机。对照组不是水课——89% 的学生评价这门课比其他 STEM 课用了更多主动学习。结果:AI 导师组的学习增益中位数是面授组的两倍多,统计上极显著;效应量方面,线性回归给出 0.63 个标准差——作者注明这被后测的天花板效应压低了,换用对天花板更稳健的分位数回归,估计在 0.73 到 1.3 之间。AI 组还更快:中位用时 49 分钟,对面授课的 60 分钟;用时与后测成绩不相关。学生自己也有感觉:投入度评分 4.1 对 3.6(五点量表),83% 的人认为 AI 导师的解释不亚于甚至好于课堂上的真人教师。
但这个 AI 导师不是把 ChatGPT 丢给学生。它的每一个环节都被教学设计钳住:每道题预先写好分步解答注入提示词,防止模型现场编造错误答案;平台强制学生按小节顺序推进,不许跳步;系统提示词里写进了主动学习、认知负荷管理和成长型思维的操作规则。作者的总结很直白:教学法最佳实践"必须被明确而仔细地内建到每一个应用里"。其中个性化即时反馈和自定进度这两条,恰恰是三十人课堂"做不到也维持不住"的——AI 赢在这里,不是赢在聪明。
好消息还有更便宜的版本。2024 年夏天,世界银行团队在尼日利亚贝宁城的九所公立中学做了六周试验:高一学生每周两次进机房,用微软 Copilot(GPT-4 驱动)跟着课纲学英语,活动由教师引导。结果:综合成绩提高 0.31 个标准差,英语单科 0.24;学校正规的学期英语考试——内容远超六周干预范围——也提高了 0.21。按学习增益折算,六周相当于常规学校教学的一年半到两年;每投入 100 美元产生 3.2 个"等效学年",跻身已知最具成本效益的教育干预之列。而且各能力层的学生都受益,女生和高起点学生的效应最大。"人人有导师"的成本门槛,第一次真的被推倒了。
## 再说坏消息:同一个模型,反向的结局
回到土耳其。为什么同一代模型,一边是哈佛的 0.63 到 1.3 个标准差的正增益,一边是撤走工具后倒亏 17%?把两边实验的设计逐项对照,答案自己浮出来。
普通聊天版输在"有求必应"。研究者翻了学生的对话记录:没有护栏时,大量学生把 GPT-4 当答案机用——直接要答案,抄下来,下一题。练习成绩当然涨,因为答案总是对的;但做题这个学习事件没有发生。定制版的提示词结构切断了这条路:它知道每题解法,所以能判断学生卡在哪一步,然后只给提示不给答案。效果体现在行为上:定制版学生的消息数显著更高,而且随着几次课过去,他们学会了更实质地使用这个工具——追问、要解释,而不是直接要答案。
哈佛团队在论文讨论里专门警告了同一件事:教师应当避免在学生可能把 AI 当"拐杖"绕过思考的场景里使用它;AI 导师"不应该取代面授教学",而应该用于课前把所有人带到同一条起跑线,把课堂时间留给更高阶的训练。
## "感觉学会了"为什么是坏仪表
两个实验的共同机制,教育心理学四十年前就给出了名字。UCLA 的 Robert Bjork 在 1994 年提出"必要难度"(desirable difficulties):间隔练习、交错主题、把测试当学习手段——这些让当下表现变差、变慢的条件,反而让长期记忆更牢。他的核心警告是:人们天然假设"让课上表现变好的条件就是让长期学习变好的条件",而这个假设"有时错得离谱"。表现和学习是可以分离的两条曲线。
必要难度还有一条边界条件,常被引用它的人忽略:难度只有在学生有能力应对时才是"必要"的;超出应对能力,它就变成纯粹的挫败。这正是好导师与答案机的分界线(这条综合是本文的判断):好的 AI 导师移除的是不必要难度——卡死无人问、等待、没有反馈、被幻觉答案带进沟里;保留的是必要难度——检索、生成、试错。GPT Tutor 的提示词和哈佛的 PS2 Pal 平台,本质上是把 Bjork 实验室里靠人工执行的干预,翻译成了可复制的软件设计。难度落在学生自己能够应对的范围里,才产生学习;AI 若把"够一够"这个动作也代劳,成绩单会立刻好看,学习事件却当场消失。
这也解释了为什么"感觉学会了"是最不可靠的仪表:流畅的对话、秒出的答案、看得懂的解析,制造的都是熟悉感——而 Bjork 反复强调,熟悉感最容易被误认成理解。
## 带走四件事
第一,评估任何 AI 学习工具,别看练习时的表现,只看合上工具之后还剩什么。土耳其实验里练习涨 48% 的那组,恰恰是撤走 AI 后跌 17% 的那组。练习成绩可以伪造,学习效果不会陪你演戏。
第二,给自己或孩子选 AI 导师,选"先反问的",不选"秒给答案的"。一个肯说"你觉得下一步该做什么"的工具,比一个有求必应的工具贵得多——贵在它替你保留了必要难度。
第三,如果你是教育者:模型只是引擎,教学法才是方向盘。同一台 GPT-4,装上护栏和脚手架就是哈佛实验里的良师;不加约束,就是土耳其实验里的拐杖。而且设计原则已经被两次试验写得足够具体:预置解法防幻觉、强制步骤防跳步、只给提示不给答案、保留人的角色(尼日利亚试验里有教师引导)。
第四,如果你是拿 AI 学习和工作的普通人:查资料、改表达、做陪练,怎么快怎么来;但在把"思考本身"外包出去之前,先问一句——这项思考是我需要练的能力,还是我可以放下的负担?答案不同,同一个工具就是良师或者拐杖。
你用 AI 学东西的时候,有没有过"当时全懂、合上就忘"的时刻?或者反过来,被某个不肯直接给答案的工具逼着学会了?欢迎留言聊聊你的经验。
这个故事最深的讽刺是:AI 导师的潜力是真的——四十年悬而未决的 2σ 问题,第一次有了成本可行的候选答案。但兑现潜力的钥匙不在模型手里,在设计者手里,也在使用者手里。工具越强,这两个"手里"的分量就越重。
来源:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4895486