唐宇涵的个人知识站

最新文章

• tang

  2026-05-14 · 1 min read

  tang asd

• triosim 模拟器 （一）

  2026-05-10 · 1 min read

  triosim 模拟器（一）

• transformer模型的GPU显存使用分析（一）：训练

  2026-05-03 · 4 min read

  transformer 模型的 GPU 显存使用分析：训练阶段分析

• transformer 模型的 GPU 显存使用分析（二）：推理

  2026-05-11 · 5 min read

  transformer 模型的 GPU 显存使用分析：推理阶段分析

• transformer模型的GPU显存使用分析（三）：反向传播到底需要哪些中间结果

  2026-05-12 · 4 min read

  本文旨在梳理训练阶段前向传播中必须保留的中间结果（如激活值、掩码、统计量等），以正确支持反向传播

• Pipeline-Parallelism流水线并行（一）

  2026-05-03 · 5 min read

  Model Parallelism 之 Pipeline Parallelism: Naive Pipeline Parallelism, Gpipe, PipeDream

• Data-Parallelism数据并行（二）

  2026-05-03 · 3 min read

  Model Parallelism 之 Data Parallelism: Naive Data Parallelism, Distributed Data Parallelism (DDP), ZeRO Data Parallelism

• Data-Parallelism数据并行（一）

  2026-05-03 · 3 min read

  Model Parallelism 之 Data Parallelism: Naive Data Parallelism, Distributed Data Parallelism (DDP), ZeRO Data Parallelism

• Tensor Parallelism张量并行（二）

  2026-05-13 · 2 min read

  这是一篇基于 Megatron-LM Tensor Parallelism (TP) 核心逻辑的源码解析文章。 代码路径：Megatron-LM/megatron/legacy/model/transformer.py 前言 在大模型训练中，Tensor Parallelism (张量并行，TP) 是最核心的并行策略之一。它不仅仅是简单的分片训练，而是将一个...

• Tensor Parallelism张量并行（三）

  2026-05-13 · 2 min read

  在分布式大模型训练（如 GPT-3, Llama 3, DeepSeek）中，张量并行 (Tensor Parallelism, TP) 是处理超大规模参数的核心技术。而 Megatron-LM 的 TP 源码设计充满了系统工程的智慧。 今天我们将深入 Megatron-LM 剖析其最基础的组件——ColumnParallelLinear（列并行线性层）。我...

• Tensor Parallelism张量并行（一）

  2026-05-13 · 2 min read

  论文来自 Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism。 什么是 Tensor Parallelism（张量并行） 大模型训练通常面临两个核心问题： 显存压力大：当模型参数规模达到数十亿甚至更高时，在每张 GPU 上都完整保存一份模...

• 网页语法

  2026-05-01 · 1 min read

  写网页的一些语法介绍

• gdb-dashboard-工具

  2026-05-01 · 1 min read

  gdb dashboard 工具指南

• 互联网络

  2026-04-30 · 4 min read

  AI 加速卡的互联介绍