Training Explorer

Training Explorer

浏览器里单步看大模型训练

应用介绍

学 Transformer 最常卡在这里:公式写出来只有一行,真跑起来张量形状怎么变、某个 Token 此刻能看到谁,光看架构图根本看不出来。Training Explorer 把整个过程做成可以播放、单步、倒退的实验,Token、矩阵、注意力权重、残差、FFN、Logits 到损失,每一步都是真实计算出来的数值。

示例用了一组能手算的缩小配置:1 个批次、4 个 Token、模型维度 4、2 个注意力头,输出词表 6 个。矩阵和概率由同一份输入实时算出,不是随机热图,你可以拿笔算一遍核对。

软件功能



播放与单步:逐事件执行模型内部计算,支持暂停、后退、跳转和重置。

跟踪张量形状:从 [B,T] 一路跟到 [B,T,V],每次投影、拆头、归一化发生在哪个维度都标得清楚。

章节内容:每章带数学推导、数值例、Python 与 PyTorch 实现、进阶实验、常见错误和自测。

事件表与时序:把动画帧对应到来源、目标、操作和张量规模。

中英文与深浅色:界面支持简体中文、英文、浅色和深色。

纯本地:课程进度、语言、主题都存在浏览器里,不要账号,也没有后端。

应用截图