multimodal-art-projection/YuE
YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.
JustVugg/colibri（已於 2026-09-14 推過），故改推第 3 名。這是什麼
YuE2 是一個把「作曲計畫」放到生成流程中央的音樂生成模型。使用者給它歌詞與風格提示後，它不是直接吐出黑箱音訊，而是先寫出可讀、可改的旋律與和弦計畫，再生成語意音樂 token、聲學 latent，最後由 VAE 解碼成 48 kHz stereo audio。README 把這套方法稱為 AR–NAR Mixture-of-Transformers backbone：同一個模型骨幹負責自回歸地預測 score 與 semantic tokens，再用 flow matching 產生聲學 latent。這讓「創作新歌、翻唱、編修」三件事可以共用同一條管線，差別只在 score 的來源：由 YuE2 規劃、由錄音轉譜，或由人／代理編輯後再渲染。
為什麼上榜
這次上榜的關鍵不只是「又一個 AI 作曲工具」，而是它把可聽品質與白箱可編輯性綁在一起。專案目前有 8,312 stars，今日新增 559 stars，熱度很明顯；README 也直接把它與 Suno v5/v6、Mureka、MiniMax Music 等系統放在 WildSongBench 上比較。它最有討論度的主張，是 YuE2 best-of-8 在 SongBench Avg 達到 6.9632，一般 YuE2 也有 6.7316；但 README 同時提醒，不同指標排名會變動，最高均值之間的小差距不代表統計顯著。換句話說，亮點不是單一榜首數字，而是公開權重、可重現資源，以及能讓人介入 score 的設計。
適合誰，可以拿來做什麼
YuE2 適合想要把 AI 音樂生成納入實驗流程的人：音樂科技研究者、想比較模型輸出的創作者、需要生成 demo 的開發者，以及想測試零樣本翻唱或「先改譜再出聲」工作流的使用者。README 提到可用 SheetSage2 先把來源錄音轉成 melody ABC，再用 cot="melody" 搭配新歌詞或目標風格產生 cover；也可以匯出 plan、修改 score.abc 的和聲、旋律、速度或曲式，再重新 render 成完整錄音。門檻則不低：官方 quick start 指定 Linux、Python 3.12、支援 BF16 的 NVIDIA GPU、24 GB VRAM，比較像研究／創作工作站工具，而不是瀏覽器即開即用服務。
上手
README 提供明確安裝與 quick start。模型檔會在第一次使用時從 Hugging Face 下載；輸出資料夾除了 audio.flac，也會保留 score、semantic tokens、acoustic latents、生成設定與模型身分。
git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .
python examples/generate.py --output outputs/first-song
Python API 也支援用 YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") 載入模型，並以 plan()、generate_semantic()、synthesize() 等階段式介面操作。常見模式包括預設的 cot="full"（生成完整旋律與和弦 plan）、適合翻唱的 cot="melody"，以及不使用 chain-of-thought score 的 cot="off"。
README 重點摘要
- 可編輯 composition 是核心賣點：先產生或匯入 ABC score，再把它渲染成完整歌曲，而不是只能接受黑箱音訊。
- 翻唱流程建議用 SheetSage2 轉譜，並在 cover 時使用
cot="melody"、不帶 chord symbols，讓伴奏能依新風格調整。 - Benchmark 覆蓋 WildSongBench 192 prompts；README 公開列出 17 個設定，並註明不同指標與統計顯著性的限制。
- 專案同時釋出 YuE2-3B、YuE2-Vae、SheetSage2、MERT2、WildSongBench 等資源，方便把生成、轉譜、理解與評測串成完整實驗鏈。
- 授權標示為 Apache-2.0；原始 YuE 的程式、文件與授權保留在
YuE-v1branch。