唐宇涵的个人博客

Recent Posts

• Pipeline Parallelism 流水线并行 （一）

  2026-05-03 · 5 min read

  Model Parallelism 之 Pipeline Parallelism: Naive Pipeline Parallelism, Gpipe, PipeDream

• transformer 模型的 GPU 显存使用分析（一）

  2026-05-03 · 4 min read

  transformer 模型的 GPU 显存使用分析：训练阶段分析

• Data Parallelism 数据并行 （二）

  2026-05-03 · 3 min read

  Model Parallelism 之 Data Parallelism: Naive Data Parallelism, Distributed Data Parallelism (DDP), ZeRO Data Parallelism

• Data Parallelism 数据并行（一）

  2026-05-03 · 3 min read

  Model Parallelism 之 Data Parallelism: Naive Data Parallelism, Distributed Data Parallelism (DDP), ZeRO Data Parallelism

• 互联网络

  2026-04-30 · 3 min read

  AI 加速卡的互联介绍