需要 48 GB VRAM”的说法刚刚被淘汰。

ceshi

🚨注意！！“需要 48 GB VRAM”的说法刚刚被淘汰。

一个 20 GB 模型在 16 GB 的 RTX 5080 上运行速度达 ~100 tok/s。

FreeToken（新的开源引擎）将你的整个机器（GPU + CPU + RAM）视为一个统一的推理平台。

只需激活必要的专家（MoE）+ 动态缓存 + 智能调度。

8 GB 笔记本 → 35B
RTX 5090 → 284B
工作站 → 753B

Apache 2.0 · Windows/Linux · GUI · 与 OpenAI 兼容的 API

“放不下 → 就用不了”的时代刚刚终结。

Repooo👇👇


https://github.com/FlashML-org/FreeToken