JustVugg/colibri
Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
這是什麼
Colibrì 是一個用 純 C、零引擎依賴寫成的 MoE 推論引擎，目標不是把整個巨型模型硬塞進 VRAM，而是把 VRAM、RAM 與 NVMe 視為同一個多層記憶體階層。README 強調它目前支援 GLM、Kimi、DeepSeek、Qwen、OLMoE 等九個模型家族，參數規模從 744B 到 2.8T；同一套前端可用 coli chat、coli serve、coli web 操作。它的核心想法很系統派：MoE 每個 token 只會啟用部分 experts，因此引擎把 routed experts 放在磁碟，依路由熱度、LRU、learned pinned hot-store 與預取策略，把真正需要的權重即時搬到合適層級。換句話說，這像是「給權重用的 JIT」：不是永遠常駐全部參數，而是根據實際工作負載調度。
為什麼上榜
這個專案今天拿到 868 顆星、總星數 29,768，爆紅點很明確：它把「在自己硬體上跑 frontier MoE」這件事說成一個可測量、可重現的系統工程問題，而不是單純炫技。README 同時很謹慎，反覆強調速度沒有 SLA，但語義與精度不能被偷偷改寫；快慢可因記憶體層級而變，模型語義不能因此變。這讓 Colibrì 和許多只展示單一 benchmark 的推論專案不太一樣：它把 storage I/O、CPU/GPU/Metal、NUMA、speculation、KV state、雙 SSD 串流都納入同一個研究平台。亮點不是「保證所有人都能很快」，而是 讓巨大 MoE 的瓶頸可被觀察、替換與實驗。
適合誰，可以拿來做什麼
Colibrì 適合對 本機／自架大型模型推論有興趣，而且願意閱讀系統細節、做 A/B 測試的人：例如想在工作站、Mac、NAS 加 NVMe、或多 GPU 主機上研究 MoE 權重搬移的人。它也適合推論引擎、模型格式、I/O 排程、異質運算最佳化的研究者，因為 README 鼓勵貢獻者記錄硬體、commit、模型、指令、prompt、cache 狀態、吞吐、TTFT、expert hit rate、bytes read 與品質檢查。上手門檻不低：你需要模型檔、足夠儲存空間，並理解引擎可能慢但應保持正確。若只是想要最省事的聊天機器人 API，這不是最短路；若想掌握整條推論路徑，它很有吸引力。
上手
README 沒有提供傳統套件管理器式的完整安裝步驟，但列出幾個核心入口與叢集／雙 SSD 用法。最基本的互動、服務與網頁介面是：
./coli chat
./coli serve --model /nvme/glm52_i4
./coli web
若要啟用本地 cluster mode，README 範例先啟動 coordinator，再讓 worker 指向它，最後由 serve 端使用 discovery：
./coli cluster coordinator --host 0.0.0.0 --port 8765
./coli cluster worker --model /nvme/glm52_i4 --port 9100 \
--coordinator http://COORDINATOR:8765 --advertise-host WORKER_IP
./coli serve --model /nvme/glm52_i4 \
--cluster-coordinator http://127.0.0.1:8765
雙 SSD 情境則可設定 primary 與 mirror，讓 expert reads 從兩顆磁碟分流：
COLI_MODEL=/fast/glm52_i4 COLI_MODEL_MIRROR=/second/glm52_i4 ./coli chat
README 重點摘要
- 多層記憶體階層是核心：VRAM、RAM、NVMe 都是權重 placement tier，影響速度，不應改變路由決策或權重精度。
- README 把 Colibrì 定位成 可執行的推論引擎與開放研究平台，重視端到端測量，而不是只看微基準。
- MoE routed experts 可從磁碟按需串流，並透過 LRU、hot-store、one-layer-ahead prefetch 學習工作負載熱點。
- 支援 CPU、CUDA、Metal、NUMA、部分或完整 expert residency；最佳組合取決於硬體、頻寬與工作負載。
- 雙 SSD mirror、local cluster、speculation 等功能都被描述為需驗證的策略；README 明確鼓勵公布負面結果。