Robbyant/lingbot-map

A feed-forward 3D foundation model for reconstructing scenes from streaming data

這是什麼

LingBot-Map 是 Robbyant 團隊釋出的 串流式 3D 重建 foundation model，用連續影像／影片推論場景幾何、相機姿態與點雲。它採 feed-forward 架構，核心 Geometric Context Transformer 以 anchor context、pose-reference window、trajectory memory，整合座標 grounding、dense 幾何線索與長距離 drift correction，目標是在長序列中保留穩定幾何脈絡。

為什麼上榜

它今日新增 831 stars、總星數 12,915，熱點在於把 3D 重建推向可串流、可處理長影片的型態。README 宣稱在 518×378、超過 10,000 frames 序列上可穩定約 20 FPS，並在多個 benchmark 優於既有 streaming 與 iterative optimization-based 方法。專案也已提供模型、demo、benchmark、長影片離線渲染與低 VRAM 建議，不只是論文頁面。

適合誰，可以拿來做什麼

適合想把影片或影像資料夾轉成 3D 場景重建 的研究者與工程團隊，例如室內 walkthrough、戶外街景、校園或 aerial 場景。demo.py 可用 browser-based viser viewer 互動檢查；超長序列則用 demo_render/batch_demo.py 產生 point-cloud flythrough MP4。門檻偏高：需要 Python / PyTorch / CUDA，推薦 PyTorch 2.8.0 + CUDA 12.8，最佳效能還牽涉 FlashInfer、Kaolin、ffmpeg 與 CUDA extensions。

上手

README 提供明確安裝與 quick start：

conda create -n lingbot-map python=3.10 -y
conda activate lingbot-map
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
pip install -e .
pip install --index-url https://pypi.org/simple flashinfer-python

下載 checkpoint 後可跑範例，預設在 http://localhost:8080 開啟 viser viewer：

python demo.py --model_path /path/to/lingbot-map-long.pt \
    --image_folder example/courthouse --mask_sky

README 重點摘要

• 核心是 Geometric Context Transformer，主打長序列幾何脈絡與 drift correction。
• 模型可從 Hugging Face / ModelScope 取得，含 lingbot-map-long、lingbot-map、lingbot-map-stage1。
• 支援互動式 demo、windowed inference、sky masking 與 offline rendering pipeline。
• FlashInfer 是推薦 backend；未安裝時可用 PyTorch SDPA fallback。
• 低記憶體可調 --offload_to_cpu、--num_scale_frames 2；速度可調 --camera_num_iterations。