解析 FlashAttention(5):FlashAttention 和常用 triton 算子

1. triton 代码

triton_docs_tutorials-main.zip

附件中的代码包含以下算子的 triton 实现,以及 .ipynb 文件内的可视化交互图:

  • 04_vector_addition:向量加法算子。
  • 05_fused_softmax:融合 softmax 算子。
  • 06_matmul:矩阵乘算子。
  • 07_dropout:dropout 算子。
  • 08_layernorm:layernorm 算子。
  • 09_flash_attention:FlashAttention 算子。triton 代码实现还没怎么看懂。

评论