Open-dLLM: 开放扩散大语言模型

杜克大学, 威斯康星大学麦迪逊分校, Aithyra

一句话总结：首个/最开放的扩散大语言模型发布。

Open-dLLM

扩散大语言模型（dLLM）领域尚属新兴，许多问题尚无明确答案。像 Gemini-Diffusion、Seed Diffusion 和 Mercury 这样的开创性工作虽然激动人心，但它们仍是封闭的API。你可以使用它们，却无法研究它们的构建方式。

像 LLaDA 和 Dream 这样的开源项目通过发布权重和推理代码，推动了该领域的发展。但它们并未提供研究人员最需要的：训练流程、数据配方和可复现的评估。

这就是我们构建 Open-dLLM 的原因：首个全栈开源的扩散语言模型项目。

👉 我们的首次发布是 Open-dCoder，专注于代码生成。它包括：

有了 Open-dLLM，你可以从原始数据 → 训练 → checkpoints → 评估 → 推理，所有步骤都在一个代码库中完成。

Project	Data	Training Code	Inference	Evaluation	Weights
Open-dLLM (ours)	✅	✅	✅	✅	✅
LLaDA	❌	❌	✅	⚠️ limited	✅
Dream	❌	❌	✅	⚠️ limited	✅
Gemini-Diffusion	❌	❌	❌	❌	❌ (API only)
Seed Diffusion	❌	❌	❌	❌	❌ (API only)
Mercury	❌	❌	❌	❌	❌ (API only

这是我们的 Open-dLLM 从零开始生成快速排序算法的演示：

                          Youtube Video (Please play it, I rly want u to enjoy the music : )