FlashAttention-v1 反向传播分块可视化
Step 0 / 60
N=12, d=4, Br=3, Bc=2, Tr=4, Tc=6
Q (12×4)
K (12×4)
V (12×4)
O (12×4)
S (3×2)
P (3×2)
m (12×1)
ℓ (12×1)
D (3×1)
dQ (12×4)
dK (12×4)
dV (12×4)
dO (12×4)
dS (3×2)
dP (3×2)
初始化完成，dQ/dK/dV = 0
SRAM 状态
重置
◀
0 / 60
▶
自动播放