应用介绍
学 Transformer 最常卡在这里:公式写出来只有一行,真跑起来张量形状怎么变、某个 Token 此刻能看到谁,光看架构图根本看不出来。Training Explorer 把整个过程做成可以播放、单步、倒退的实验,Token、矩阵、注意力权重、残差、FFN、Logits 到损失,每一步都是真实计算出来的数值。
示例用了一组能手算的缩小配置:1 个批次、4 个 Token、模型维度 4、2 个注意力头,输出词表 6 个。矩阵和概率由同一份输入实时算出,不是随机热图,你可以拿笔算一遍核对。
播放与单步:逐事件执行模型内部计算,支持暂停、后退、跳转和重置。
跟踪张量形状:从 [B,T] 一路跟到 [B,T,V],每次投影、拆头、归一化发生在哪个维度都标得清楚。
章节内容:每章带数学推导、数值例、Python 与 PyTorch 实现、进阶实验、常见错误和自测。
事件表与时序:把动画帧对应到来源、目标、操作和张量规模。
中英文与深浅色:界面支持简体中文、英文、浅色和深色。
纯本地:课程进度、语言、主题都存在浏览器里,不要账号,也没有后端。
示例用了一组能手算的缩小配置:1 个批次、4 个 Token、模型维度 4、2 个注意力头,输出词表 6 个。矩阵和概率由同一份输入实时算出,不是随机热图,你可以拿笔算一遍核对。
软件功能
播放与单步:逐事件执行模型内部计算,支持暂停、后退、跳转和重置。
跟踪张量形状:从 [B,T] 一路跟到 [B,T,V],每次投影、拆头、归一化发生在哪个维度都标得清楚。
章节内容:每章带数学推导、数值例、Python 与 PyTorch 实现、进阶实验、常见错误和自测。
事件表与时序:把动画帧对应到来源、目标、操作和张量规模。
中英文与深浅色:界面支持简体中文、英文、浅色和深色。
纯本地:课程进度、语言、主题都存在浏览器里,不要账号,也没有后端。

