Caveman AI 技能节省 Token 被证伪:实际仅 8.5%,而非声称的 65%
一个名为 Caveman 的 GitHub 项目声称通过让 AI 智能体像穴居人一样说话可节省 65% 的输出 Token,但 JetBrains 对其进行了实证测试。JetBrains 使用 SkillsBench 上的 86 个真实编程任务进行测试,发现实际 Token 节省最多仅为 8.5%,远低于宣传的数字。该项目由莱顿大学一名 19 岁大一新生创建,上线三天即获得 8.7 万颗星。 这一分析揭示了 AI 优化中的一个常见陷阱:只关注总 Token 使用量的一小部分,而忽略了更大的成本驱动因素。Caveman 技能仅优化输出 Token,但在智能体工作流中,大部分 Token 来自工具调用、系统提示词和上下文。随着模型价格下降和提示词缓存变得更有效,这种微优化变得越来越无关紧要,社区应更关注广泛的上下文管理和减少返工。 JetBrains 使用 Claude Code 对 86 个任务进行了 240 次计费实验,总花费 106 美元,并强制开启 Caveman 以获得最大效果。65% 的声称来自聊天场景,而非工具调用占主导的智能体任务。Caveman 每轮会增加 1-1.5k 输入 Token,进一步降低净节省。该技能还可能省略关键上下文,迫使开发者提出后续问题,从而消耗额外 Token。
我把那种号称省 Token 的 Skill 叫“电报体 Skill”。 我们小时候语文课要学电报文,老师先给出一件事,比如母亲生病,要让在外地工作的哥哥赶紧回家,然后全班比赛拟电文,看谁用最少的字把事情说得最清楚。 最后能精简到四个字:“母病速归”。但再精简成“母病”或者“速归”都不行,因为收到的人不明白该干嘛或者发生了啥。 那时候要写电报体是为了省钱,电报按字收钱,每个字都是钱。 这种“惜字如金”的技能,现在在 AI 圈子里以 Skill 的形式复活了。 GitHub 上有个叫 Caveman 的项目,2026 年 4 月上线三天就冲上 Trending 第一,目前攒了 8.7 万颗星。它的作者 Julius Brussee 是荷兰莱顿大学一个 19 岁的大一新生,做的事情极其简单:在 Claude Code、Codex 等 AI 编程工具的提示词(prompt)里加一段指令,让 AI 像原始人一样说话。删冠词、删客套、删连接词,只留技术要素。 项目 README 声称能省 65% 的输出 token。听起来很牛逼。但跟电报体一样,这是一个过渡期的产物,而且它在省钱这件事上的效果,远没有看起来那么大。 JetBrains 最近有个测试:《Does Speaking to Agents Like Cavemen Really Save 65% of Tokens? We Test》 https://blog.jetbrains.com/ai/2026/07/speak-to-ai-agents-like-cavemen-tosave-tokens/ 他们用 Claude Code 跑 SkillsBench 上的 86 个真实编程任务,装 skill 和不装各跑一遍,同任务、同模型、同预算,前后约 240 次计费试验,总共花了 106 美元。为了给 Caveman 最好的发挥空间,他们还强制它在每次回复中生效。 结果:输出 Token 只省了 8.5%。因为是强制开启,这 8.5% 已经是天花板,日常使用里它得自己判断要不要触发,只会省得更少。 为什么差这么远?因为 65% 这个数字来自聊天场景。你问 AI 一个问题,它回你一大段话,把客套和废话砍掉,确实能省一大半。 但智能体的 Token 消耗大头从来不是在聊天,工具调用、系统提示词、各种 Skills、MCP等等这些才是大头。 Caveman 优化的那部分,在整张账单里本来就是零头。好比公司要压缩差旅费,机票、酒店和打车一项没动,先把每天 2 块钱的矿泉水取消了。 电报体也不是没代价的,一句“Fixed auth. Tests pass.”看起来很省 Token。但它没告诉你修的是登录过期、权限校验还是刷新令牌;跑的是一个单元测试,还是完整测试套件;有没有改数据库;有没有留下兼容性风险。 这些信息不一定每次都要展开成小论文,但不能因为“说话像穴居人”就固定删掉。开发者看不懂 Agent 做了什么,只好追问。Agent 再读一遍文件、再跑一遍测试、再解释一次。前面省下的几十个 Token,很快会被新一轮工具调用吃回去。 电报体能工作,靠的是双方共享大量背景。“母病速归”只有四个字,收报人知道母亲是谁、家在哪里、为什么要回去。编程 Agent 处理的是不断变化的代码和陌生任务,共享背景没那么可靠。 语言越短,对默契的要求越高。啰嗦,有时候就是通信协议里自带的纠错码。 电报体后来怎么样了?没有人宣布废除它。长途通信的价格降到忽略不计之后,“母病速归”自然变回了“妈住院了,你买最早的票回来,到了给我打电话”。省字数是给按字计费时代做的优化,当价格降下去了,优化就没必要了。 Token 也一样,模型单价总体是在下降的,提示词缓存(prompt caching)能让重复读取的上下文便宜差不多九成。 真正能节约成本的是上下文管理和少走弯路。少加载些没必要的 MCP 和 Skills,用聪明一点的模型少一些返工,这都比电报体省钱多了。

我这里再放一个暴论: 当前所有以节约 token 为目标的各种 skill / harness,都是阶段性产物,很快就会扫入历史的垃圾堆。。。 这就是短消息按字数收费的那个时代,在钻研怎么发尽可能少字数的短信把事说清楚的那些奇技淫巧。。。