AI 团队 token 烧在刀刃上
AI 团队 token 烧在刀刃上
养一个 AI 团队，第一个月你会问「花了多少」——第二个月问「花在哪了」——第三个月问「能不能砍」。
答案不是「用便宜模型」，而是先数清钱去哪了，再分层路由，最后才谈砍。
1. 我们怎么知道钱去哪
多数 AI 团队的成本管理是「月底看账单」——但账单只给总数，不告诉你哪个 Agent 在烧、烧在什么任务上、能不能砍。
我们的做法是每周出成本报表：按 Agent、任务类型、模型路径拆分。主路径用便宜模型（例如 deepseek-flash），质检用双模型交叉验证，终稿才用贵模型。
审计的第一步不是砍预算，而是把「谁在烧、烧在哪」可视化——很多「贵」的路径，看完报表才发现是监控类任务在空转。
2. 墙钟 vs token：别把秒数当花费
一个常见误判：Agent 跑了 300 秒 = 花了很多钱。
墙钟时间（启动到结束）和 token 消耗是两回事：
- agent 型 cron（调用 LLM）：墙钟长可能烧 token，但还要看有没有实际调用
- no_agent 型 cron（纯脚本）：墙钟再长也是近似零 token
教训：先看任务类型，再看墙钟，最后看 token。 把秒数当花费会误杀正常的监控任务。
3. 分层路由：初稿便宜、质检双评、贵模型只给终稿
我们的路由是三层：
- 初稿层：便宜模型，速度快、成本低、容错率高
- 质检层：交叉验证；不一致再升级
- 终稿层：贵模型只在终稿/高风险判定使用
关键：不是每个任务都需要贵模型。 初稿通常会被大改；工程直觉是：便宜模型出初稿，贵模型只做终稿与高风险判定。（本文不给出精确「省 xx%」数字，以免把估算写成实证。）
4. no_agent：能不调模型就不调
不是每个定时任务都需要 LLM。监控类任务（查进程、拉消息、写心跳）完全可以用纯脚本——近似零 token。
教训：能用脚本解决的，不要调 LLM。 很多「AI 任务」其实是被包装成 AI 的脚本任务。
5. 本地模型：免费但要付延迟/运维
本地模型（本地 embedding/ollama 类）token 成本近零，但不是免费午餐：
- 延迟：轻量本地检索可到约 10ms 级；更重的向量模型可能到约 200ms 级——差一个数量级
- 运维：算力、磁盘、版本维护是隐性成本
- 质量：小模型不一定够用
结论：本地模型适合低延迟/零边际成本的日常层；重模型更适合离线或显式需要高精度的场景。
6. 免费额度的坑
免费额度听起来零成本，却有三个隐藏代价：
- 额度用完降级：成本突然跳升或服务中断
- 会话锁：单账号单会话时，多 Agent 互相挤占
- 风控封号：高频/批量可能触发风控，付费能力一并受影响
教训：免费额度是缓冲，不是主路径方案。先算 ROI 与风险，再接。
7. 收束：先数清，再砍，再谈省钱
- 数清：每周成本报表——钱去哪了
- 分层：初稿便宜、质检双评、贵模型只给终稿
- 砍：能脚本不 LLM、能本地不云端、能不依赖免费额度就不依赖——最后才谈砍
一句话：先数清钱去哪了，再谈省钱——不知道花了多少就砍预算，和闭着眼睛开车一样危险。
成本数字为估算/采样值，以最新报表为准。本文不含商业推广。