NanoGPT Slowrun

大多数训练竞赛假设数据无限、比拼谁更快，可现实中高质量数据越来越稀缺。NanoGPT Slowrun 是一个在固定数据、无限算力条件下比拼语言模型算法的基准。

使用 FineWeb 的 1 亿 Token，不限算力和时间，验证损失最低者胜，鼓励探索数据效率更高的训练方法。

软件功能

固定数据：1 亿 Token。

无限算力：不限时间。

比拼损失：最低者胜。