应用介绍
大模型训练看了一堆文章，还是不知道从下载数据到生成文本中间每一步怎么写。这个项目用纯 PyTorch 手写了从原始文本到对齐推理模型的完整流程，单张 GPU 就能训练百万到十亿参数的模型。
它基于《Attention is All You Need》实现 Transformer，从预训练一路做到对齐和推理风格训练，每个算法都是手写的，方便对照理解。
完整流程：数据下载、分词、预训练到对齐。
单卡训练：一张 GPU 训练百万至十亿参数模型。
手写实现：不依赖高层训练框架。
推理风格：包含对齐与推理训练阶段。
它基于《Attention is All You Need》实现 Transformer，从预训练一路做到对齐和推理风格训练，每个算法都是手写的，方便对照理解。
软件功能
完整流程：数据下载、分词、预训练到对齐。
单卡训练：一张 GPU 训练百万至十亿参数模型。
手写实现：不依赖高层训练框架。
推理风格：包含对齐与推理训练阶段。
