应用介绍

大模型预训练的细节大多藏在各家公司内部，研究者很难知道数据配比、训练过程到底怎么影响结果。daVinci-LLM 是一个开放的预训练研究项目，从零训练模型并公开全部内容：数据、训练过程和消融实验结果。

它致力于推动「预训练科学」，由上海交大 GAIR 实验室开源。

软件功能

从零训练：完整预训练流程。

全部公开：数据与过程。

消融实验：结果可复现。