归档
共 53 篇文章
Model Parallelism
- 创建2026-05-14 Sequence Parallelism序列并行（一）
- 创建2026-05-13 Tensor Parallelism张量并行（一）
- 创建2026-05-13 Tensor Parallelism张量并行（三）
- 创建2026-05-13 Tensor Parallelism张量并行（二）
- 创建2026-05-03 Data-Parallelism数据并行（一）
- 创建2026-05-03 Data-Parallelism数据并行（二）
- 创建2026-05-03 Pipeline-Parallelism流水线并行（一）
Gpu逆向工程
- 创建2026-08-04 GPU Benchmarks 收集
- 创建2026-06-30 GPU 内存子系统分析（四）：L2 布局
- 创建2026-05-21 GPU 内存子系统分析（二）：DRAM 带宽分析
- 创建2026-05-15 GPU 内存子系统分析（一）：延迟分析
备忘录
- 创建2026-10-15 更新2026-10-15 vLLM 部署 Qwen3.8-27B-FP8（3）：VSCode 使用
- 创建2026-10-10 更新2026-10-10 vLLM 部署 Qwen3.8-27B-FP8（2）：存在有线连接场景下，服务器 / 本地 / WSL 三端的 Harness 使用
- 创建2026-10-09 更新2026-10-09 Harness 使用 (3)：模型能力对比收集
- 创建2026-10-08 更新2026-10-08 远程连接和 WSL 连接配置（2）：MobaXterm 免密连接+跳板机
- 创建2026-09-29 更新2026-10-12 vLLM 部署 Qwen3.8-27B-FP8（1）：无有线连接场景下，服务器 / 本地 / WSL 三端的 Harness 使用
- 创建2026-09-24 Harness 使用 (0)：目录
- 创建2026-09-24 Harness 使用 (2)：常用提示词
- 创建2026-08-12 更新2026-10-11 Harness 使用 (1)：受欢迎的 skills 收集
- 创建2026-08-10 更新2026-10-12 Linux 开发环境配置
- 创建2026-08-07 Pycharm 和 VSCode 调试
- 创建2026-07-28 Python 和 Pytorch 语法备忘录
- 创建2026-07-04 docker 环境问题
- 创建2026-05-18 更新2026-10-08 远程连接和 WSL 连接配置（1）：VSCode SSH 和 Pycharm SSH 免密连接
数学原理
- 创建2026-10-30 更新2026-10-30 大模型中的数学（005）：泊松分布在 LLM 推理系统中的作用
- 创建2026-10-27 更新2026-10-27 大模型中的数学（004）：从位置到旋转，一步步理解 RoPE
- 创建2026-10-24 更新2026-10-24 大模型中的数学（003）：为什么每个 Token 的 KV 会受到上下文影响？
- 创建2026-08-07 大模型中的数学（002）：DP 中的梯度缩放
- 创建2026-08-05 大模型中的数学（001）：Gumbel-Max Trick 代替随机采样
训练优化
- 创建2026-09-25 更新2026-09-25 【训练排障】训练不收敛的系统排查清单：学习率、数据、初始化、精度逐个排除
- 创建2026-09-22 torch.distributed 分布式训练（04）：调试
- 创建2026-08-12 torch.compile 加速 Pytorch (01)：简介
- 创建2026-08-06 torch.distributed 分布式训练（02）：基本用法
- 创建2026-08-06 torch.distributed 分布式训练（03）：TP/PP/DP 代码实例
- 创建2026-08-05 torch.distributed 分布式训练（01）：简介
每日英语训练
- 创建2026-08-11 每日听力口语训练
Gpu预取技术
Llm推理框架
- 创建2026-09-25 更新2026-09-25 解析 FlashAttention（0）：目录
- 创建2026-08-27 解析 FlashAttention（4）：FlashAttention-v2
- 创建2026-08-27 解析 FlashAttention（5）：FlashAttention 和常用 triton 算子
- 创建2026-08-20 解析 FlashAttention（1）：从标准 Attention 讲起
- 创建2026-08-20 解析 FlashAttention（2）：FlashAttention-v1 前向传播
- 创建2026-08-20 解析 FlashAttention（3）：FlashAttention-v1 反向传播
硬件架构
- 创建2026-09-27 更新2026-10-07 脉动阵列（1）：基础知识
- 创建2026-08-31 Jalapeño 架构设计
学习资料
- 创建2026-10-08 更新2026-10-08 端侧大模型芯片
- 创建2026-09-02 AI Infra 学习资料
- 创建2026-09-02 CUDA 学习资料
大模型架构
- 创建2026-10-01 更新2026-10-02 投机解码 (1)：拒绝采样机制
- 创建2026-09-26 更新2026-09-26 Qwen 3.5 架构解析 (0)：目录
- 创建2026-09-26 更新2026-09-26 Qwen 3.5 架构解析 (1)：Linear Attention → Delta Rule → Gated Delta Rule → Gated DeltaNet 的演化
模拟器
- 创建2026-10-07 更新2026-10-08 ONNXim 模拟器（1）：GEMM、Tile、脉动阵列与存储映射
Skill 使用教程
- 创建2026-10-11 更新2026-10-16 code-review-graph 使用教程