条件性假设
Compile by Training → 改变 → 远程模型调用
作者有条件地推测,Compile by Training通过可复用本地推理替代逐次使用教师模型,可能减少部分远程调用。前提是覆盖大量生产任务,且包含部署、更新、监控和错误处理的总成本更低;文章未证明调用量或收入已经下降。
查看关系证据
这些实验没有证明远程接口的调用量或收入已经受到影响。只有当可编译方法覆盖大量生产任务,而且本地推理、部署、更新、监控和错误处理的总成本低于远程调用时,部分远程调用才可能减少。
文章推理使用的背景来源:[S1] arXiv
阅读完整研究