🍀 Spring Appointment, Lucky Draw Gifts! Growth Value Issue 1️⃣7️⃣ Spring Lucky Draw Carnival Begins!
Seize Spring Luck! 👉 https://www.gate.com/activities/pointprize?now_period=17
🌟 How to Participate?
1️⃣ Enter [Plaza] personal homepage, click the points icon next to your avatar to enter [Community Center]
2️⃣ Complete plaza or hot chat tasks like posting, commenting, liking, and speaking to earn growth value
🎁 Every 300 points can draw once, 10g gold bars, Gate Red Bull gift boxes, VIP experience cards and more great prizes await you!
Details 👉 https://www.gate.com/announcements/article/
为什么在本地运行模型?
通常有两个主要原因 - 隐私和成本
让我们通过一个例子来探索成本方面,看看数学如何计算
假设你想像 @karpathy 一样整夜运行自动研究循环
如果你能访问 H100,你可以在一夜间使用 Opus-4.6 运行 100 个实验,API 成本可能在 $10-25 范围内
但我们大多数人都没有那么幸运能访问 H100
我们仍然可以在 MacBook 上以相同的 $10-25 运行 100 个自动研究实验,但这不是苹果比苹果
H100 在相同时间范围内将完成 50-100 倍以上的训练步骤
所以如果你想重现相同数量的训练步骤,你最终可能要支付 $1000 以上的 API 成本,当然这也会比一夜间花费更长的时间
这不会很明智,因为你可以以更低的价格租赁 H100 并更快地完成同样的工作
但这开始展现了为什么你想要在本地运行模型的原因 - 它使你能够进行实验,否则对大多数人来说成本会过高
它开始平衡竞争场地
我在一台较旧的电脑上运行 Qwen3.5 9B,现在对我来说进行我原本不会做的实验是有意义的,如果我要承付 API 成本的话
这是一个巨大的突破,随着时间推移,随着模型变得更好和更小,这的空间只会进一步扩大