2024 年 4 月挂出的一份技术报告,标题就很直接:一部高能力语言模型,就在你的手机本地运行(原标题《Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone》)。内容对得起标题:3.8B 参数的模型,用 3.3 万亿 token 训练,在 MMLU 上拿到 69%、MT-bench 拿到 8.38,按摘要口径比肩 Mixtral 8x7B 与 GPT-3.5 这样的模型,而且小到能部署进手机。一年多以后,Apple 的 2025 年技术报告在开篇介绍两个模型,方向各不相同:一个是 3B 参数的端侧模型,一个是跑在自家私有云上的服务器模型。一份报告把智能往手机里塞,另一份把端侧与云端并重。智能到底在哪里跑?这个问题比「本地、云端、边缘」三个标签要复杂。
通常的理解是:本地、云端与边缘 AI 描述计算在不同位置运行的方式,边缘强调接近用户、设备或数据产生的位置(背景常识,不绑定单一来源)。关键在后半句:一个应用可以把不同的工作分配到不同的位置,因此不一定是二选一。而部署位置是一回事,实际的控制能力与可审计性是另一回事,两者正在脱钩。
## 为什么往端侧走
把计算搬到设备上的第一层动机,2023 年 6 月一篇量化论文的首段写得很直白:端侧大模型正变得越来越重要,在边缘设备上本地运行,可以降低云计算成本、保护用户隐私(AWQ 摘要口径转写)。同一段也点出难处:模型体量大得惊人,硬件资源有限,部署并不容易。
AWQ 的走法是发现并非所有权重同等重要:只保护 1% 的显著权重(salient weights),就能大幅降低量化误差;方法不依赖反向传播或重构,跨领域跨模态也不过拟合标定集。配套的推理框架 TinyChat 在桌面与移动 GPU 上比 Huggingface FP16 实现快 3 倍以上,并把 70B 参数的 Llama-2 带进了移动 GPU(摘要口径)。arXiv 评论栏还注明,这篇论文获得 MLSys 2024 最佳论文奖。
压缩解决的是装得下,好不好用要看小模型本身的质量。2024 年挂出的两份报告给了证据:上文提到的 Phi-3,3.8B 参数交出摘要所称的整体性能;7 月挂出的 Gemma 2,覆盖 2B 到 27B 参数的开放模型家族,其中 2B 与 9B 两档用知识蒸馏而非下一 token 预测训练,摘要的措辞是:交付同尺寸下最佳的性能,甚至足以作为大它 2 到 3 倍模型的有竞争力替代,且全部模型向社区开放。Apple 2025 年 7 月的报告把端侧优化又推进一步:3B 参数的端侧模型通过 KV-cache 共享与 2-bit 量化感知训练(quantization-aware training),针对自家芯片做了专门设计。成本、隐私、压缩、质量,几个条件在近两三年里逐个到位,钟摆摆向了端侧。
## 钟摆又摆回云端
但 Apple 的同一批报告讲了故事的另一半。2024 年 7 月那份介绍了两个基础模型:一个约 3B 参数、设计为在设备上高效运行,另一个大型服务器模型、专为私有云计算(Private Cloud Compute,PCC)设计。2025 年的报告里,服务器模型有了专门架构:PT-MoE(Parallel-Track Mixture-of-Experts)把轨道并行、专家混合稀疏计算与全局-局部交错注意力组合起来,在 PCC 平台上以有竞争力的成本交付高质量。两代报告连着读:端侧名额始终在 3B 上下(2024 年口径「约 3B」,2025 年口径「3B 参数」,并列照录),云端却从「一个大型模型」长成了定制的稀疏架构。
2025 年报告还把端侧能力开放给了第三方:以 Swift 为中心的 Foundation Models 框架暴露引导式生成、受约束的工具调用与 LoRA 适配器微调,开发者用几行代码就能集成。两份报告都是厂商自述,本文按文中所称转写;重活为什么放云端,摘要层面没有系统陈述,从两份报告的架构投入只能读出一条线索:端侧强调针对自家芯片的优化,云端强调质量与成本的平衡(本文推断)。
## 路由:位置成了变量
混合形态不止于「两个模型并存」。2024 年 6 月挂出的一篇论文把选择本身做成了可学习的机制:RouteLLM 在推理时于强弱两个模型之间动态选择,路由器用人类偏好数据加数据增强训练;基准评测显示,某些场景下成本降低超过 2 倍而回答质量不受损。更有意思的是路由器可迁移:测试时把强弱两个模型换掉,性能仍能保持。
注意这里的粒度:路由的是这次请求用哪个模型,不是工作流里的分支(工作流层面的分支模式已有专篇讨论,此处不展开)。当路由器成为运行时机制,「在哪里跑、用哪一档跑」就从部署时的一次性决定,变成了每次请求的运行时决定。Apple 的端侧加 PCC 双模型是这种形态的架构前提;至于两个位置之间怎样分派具体请求,摘要级材料未展开,无源不写。
## 审计边界在哪里
位置一旦动态化,一个老问题就有了新形态:能不能审计。Apple 在 2024 年 6 月 10 日的安全研究博客里给了一个认真的回答。博客先点名难点:云端 AI 服务的安全与隐私承诺难以验证、难以持久执行。如果一个服务声称「不记录某些用户数据」,研究者一般没有办法核实这个承诺,服务提供方自己也常常没有办法让它持久成立。
博客提出的要求叫可验证透明性(verifiable transparency):安全研究者必须能够核实 PCC 的安全与隐私承诺,还必须能够核实,生产环境里运行的软件与他们核查承诺时检查过的软件是同一份。具体承诺包括:PCC 上运行的一切代码的度量值发布进只增不改、密码学防篡改的透明日志;日志与对应的二进制软件镜像向隐私和安全专家公开,供检查与验证;提供官方研究工具,重要发现经安全赏金计划获得奖励;每个生产软件镜像都发布出来供独立二进制检查,在写入日志后 90 天内或相关更新可用后发布,以较早者为准。
节点本身也是定制的:服务器硬件带着 Apple silicon、Secure Enclave 与安全启动;操作系统是从 iOS 和 macOS 基础层裁剪出的硬化子集,只服务大模型推理负载;远程 shell、系统内省这类传统上数据中心管理必备的组件被移除,运维人员只能拿到一小套确定性受限的运行指标;数据只会发给能以密码学方式证明自己运行着公开列名软件的节点。把这些细节合起来看,审计不靠盯着运行时的行为,而靠核对公开的软件列名与二进制镜像(本文综合)。博客自称这套要求「代表着对任何传统云服务安全模型的代际跨越」,这是发布方的自评,标注出来,不作背书。
## 还没想清楚的
一是声明与位置的错位。「端侧运行」这类说法是静态声明,混合形态里,某次请求的实际执行位置却可能由运行时机制逐次决定,用户无从看见。路由器正是这样的机制;而用户侧核对「这次请求到底在哪跑了」的手段,还没有出现(本文判断)。
二是可审计性目前只有单厂商样本。可验证透明性绑定在一家公司自己的云上;第三方云与端侧执行,公开材料里未见对应机制。端侧模型经框架开放给第三方应用之后,LoRA 适配器微调出来的行为怎样验证,摘要级材料没有展开。
三是位置与数据权属是两个问题。计算在哪里跑,与数据归谁、能否带走,容易被混进同一句口号;后者已有专篇讨论,这里只划界。运行与观测的运维问题,同样另有专文。
## 三个判断
第一,端侧 AI 的可用性到位,是三件事同时到位的乘积:小模型的质量跃迁(Phi-3、Gemma 2)、压缩技术的兜底(1% 显著权重、2-bit 量化感知训练)、运行时的路由机制(RouteLLM)。缺任何一项,钟摆都会停在云端(本文综合)。
第二,真正的架构变化不在端与云之间选边,而在把位置变成运行时变量:按难度与成本动态分流,位置从前提变成了参数(本文判断)。
第三,混合形态把信任问题从「数据在不在本地」挪到「路由决策能不能被审计」。PCC 的可验证透明性是一个答案,但它是孤例不是通例;这个判断的证据尚薄,按待检验表述(本文判断)。
## 不同读者能带走什么
给做端侧应用的产品团队:把「端侧运行」当架构描述而不是对用户的承诺,哪些请求会上云,写进用户看得见的说明里;用了端侧框架的适配器微调,验证手段要自己规划。
给关注隐私与合规的读者:位置标签不等于数据流向,「本地」「边缘」「云」都不自动回答数据去了哪;采购与选型时把「能不能核实」也列进要问的问题,而不是只问「在哪里跑」。
给同行研究者:路由器的可迁移性(强弱模型换掉后性能仍保持)提示路由可以脱离具体模型的生命周期,作为独立基础设施来建设;混合形态的审计机制还基本是空白,PCC 的公开材料值得细读。
给普通读者:下次看到「端侧 AI」的说法,值得追问的可能不是快不快,而是什么时候会上云、你怎样才能知道。
你有没有专门查过,自己用的 AI 应用是在手机里还是在云上处理请求?查到过明确答案吗?评论区聊聊。
口径与边界:六枚 arXiv 论文均为摘要级,数字与结论以摘要口径为准,摘要未载的细节(如 Apple 两模型之间的编排机制)一律不写;AWQ 获奖信息系 arXiv 评论栏所载,Phi-3 报告评论栏仅注页数,其余四枚无评论栏,发表场合零断言;Apple 两份技术报告与 PCC 博客均为发布方自述,按「报告口径」「博客所称」转写,自评句已标注立场,本文不作独立背书;博客发布日期按缓存页面所载(2024 年 6 月 10 日);开头定义句系背景常识转写,不绑定单一来源;「比肩 GPT-3.5」「同尺寸最佳」等表述均系各报告摘要中的基准口径,非本文评价;RouteLLM「降本超 2 倍」绑定「某些场景」限定;两代 Apple 报告端侧参数口径不同(约 3B 与 3B),均照录不取整;正文不出现个人姓名与姓氏,报告以模型名与年份指称;Phi-3、Gemma 2、AWQ、TinyChat、RouteLLM、PT-MoE、Private Cloud Compute、Secure Enclave、LoRA、KV-cache、MMLU、MT-bench 系专名照录,不构成产品评价或宣传;arXiv 摘要页无利益冲突披露栏,不作有无断言;端侧(on-device)、可验证透明性(verifiable transparency)、量化感知训练(quantization-aware training)、路由(routing)等译法首现附英文;「近两三年」系取整;工作流分支、数据权属与可迁移性、运行观测各有专篇,本文只以一句划界。
来源:arXiv 2306.00978《AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration》,2023 年 6 月 1 日挂出,评论栏注明 MLSys 2024 最佳论文奖;arXiv 2404.14219《Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone》,2024 年 4 月 22 日挂出;arXiv 2408.00118《Gemma 2: Improving Open Language Models at a Practical Size》,2024 年 7 月 31 日挂出;arXiv 2407.21075《Apple Intelligence Foundation Language Models》,2024 年 7 月 29 日挂出;arXiv 2507.13575《Apple Intelligence Foundation Language Models: Tech Report 2025》,2025 年 7 月 17 日挂出(https://arxiv.org/abs/2507.13575);arXiv 2406.18665《RouteLLM: Learning to Route LLMs with Preference Data》,2024 年 6 月 26 日挂出;Apple 安全研究博客《Private Cloud Compute: A new frontier for AI privacy in the cloud》,2024 年 6 月 10 日发布。