为什么在本地运行模型?


通常有两个主要原因 - 隐私和成本
让我们通过一个例子来探索成本方面,看看数学如何计算
假设你想像 @karpathy 一样整夜运行自动研究循环
如果你能访问 H100,你可以在一夜间使用 Opus-4.6 运行 100 个实验,API 成本可能在 $10-25 范围内
但我们大多数人都没有那么幸运能访问 H100
我们仍然可以在 MacBook 上以相同的 $10-25 运行 100 个自动研究实验,但这不是苹果比苹果
H100 在相同时间范围内将完成 50-100 倍以上的训练步骤
所以如果你想重现相同数量的训练步骤,你最终可能要支付 $1000 以上的 API 成本,当然这也会比一夜间花费更长的时间
这不会很明智,因为你可以以更低的价格租赁 H100 并更快地完成同样的工作
但这开始展现了为什么你想要在本地运行模型的原因 - 它使你能够进行实验,否则对大多数人来说成本会过高
它开始平衡竞争场地
我在一台较旧的电脑上运行 Qwen3.5 9B,现在对我来说进行我原本不会做的实验是有意义的,如果我要承付 API 成本的话
这是一个巨大的突破,随着时间推移,随着模型变得更好和更小,这的空间只会进一步扩大
查看原文
此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 转发
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论
  • 热门 Gate Fun

    查看更多
  • 市值:$0.1持有人数:1
    0.00%
  • 市值:$2258.62持有人数:1
    0.00%
  • 市值:$2262.06持有人数:1
    0.00%
  • 市值:$2262.06持有人数:1
    0.00%
  • 市值:$2262.06持有人数:1
    0.00%