TrioSim 模拟器 （六）：Cases 总结

TrioSim 模拟器的 Cases 有:

• Case 0: forward 推理。

• Case 1: forward + 梯度 AllReduce。

• Case 2: 数据并行训练。
  参考资料： Data-Parallelism数据并行（一）；
  Data-Parallelism数据并行（二）

• Case 3: 张量并行训练。
  参考资料： Tensor Parallelism张量并行（一）
  Tensor Parallelism张量并行（二）
  Tensor Parallelism张量并行（三）

• Case 4: 流水线并行训练。
  参考资料： Pipeline-Parallelism流水线并行（一）

• Case 5: 通信/Hop AllReduce 算法。
  参考资料：Hop: Heterogeneityaware decentralized training

其中，

• Case 0 和 Case 1 是最简单的实现，建议从这两个案例开始阅读代码。
• Case 2 到 Case 4 展示了多种分布式并行策略。
• Case 5 我目前也还没看对应的论文，只看了代码，实现也不算很复杂。

TrioSim 模拟器的代码实现中存在诸多简化，这可能会对模拟效果产生影响。