归档
共 91 篇文章
Interconnect
- 2026-07-11 互联网络（三）：pytorch 集合通信实践
- 2026-05-14 互联网络（二）：伴随通信算子
- 2026-04-30 互联网络（一）：集合通信原语
备忘录
- 2026-08-12 skills 收集
- 2026-08-10 Linux 语法
- 2026-08-07 Pycharm 和 VSCode 调试
- 2026-07-28 Python 和 Pytorch 语法备忘录
- 2026-07-26 vLLM 安装
- 2026-07-04 docker 环境问题
- 2026-06-29 ctags 使用指南
- 2026-05-28 工具配置
- 2026-05-27 Ubuntu 系统服务器远程连接配置
- 2026-05-18 VSCode SSH 和 Pycharm SSH 免密远程连接和 WSL 连接配置
- 2026-05-01 gdb-dashboard-工具
- 2026-05-01 网页语法
Model Parallelism
- 2026-05-14 Sequence Parallelism序列并行（一）
- 2026-05-13 Tensor Parallelism张量并行（一）
- 2026-05-13 Tensor Parallelism张量并行（三）
- 2026-05-13 Tensor Parallelism张量并行（二）
- 2026-05-03 Data-Parallelism数据并行（一）
- 2026-05-03 Data-Parallelism数据并行（二）
- 2026-05-03 Pipeline-Parallelism流水线并行（一）
大模型显存和flops分析
- 2026-05-12 Transformer 模型 GPU 显存分析（三）：反向传播需要保存哪些中间结果？
- 2026-05-11 Transformer 模型 GPU 显存分析（二）：推理
- 2026-05-03 Transformer 模型 GPU 显存分析（一）：训练
Gpu逆向工程
- 2026-08-04 GPU Benchmarks 收集
- 2026-06-30 GPU 内存子系统分析（四）：L2 布局
- 2026-05-29 GPU 内存子系统分析（三）：L1 和 L2 带宽分析
- 2026-05-21 GPU 内存子系统分析（二）：DRAM 带宽分析
- 2026-05-15 GPU 内存子系统分析（一）：延迟分析
训练优化
- 2026-08-12 torch.compile 加速 Pytorch (01)：简介
- 2026-08-06 torch.distributed 分布式训练（02）：基本用法
- 2026-08-06 torch.distributed 分布式训练（03）：TP/PP/DP 代码实例
- 2026-08-05 torch.distributed 分布式训练（01）：简介
- 2026-05-27 分布式训练（一）：使用单节点模拟多节点配置
- 2026-05-26 软件调优（七）：选择合适的张量数据类型
- 2026-05-26 软件调优（六）：Checkpoint 文件优化
- 2026-05-25 软件调优（四）：避免训练不稳定
- 2026-05-25 软件调优（五）：训练损失尖峰现象观察与分析
- 2026-05-22 软件调优（一）：NUMA 绑定
- 2026-05-22 软件调优（三）：torch.compile
- 2026-05-22 软件调优（二）：DataLoader
- 2026-05-19 最优模型参数选择（一）：最优 GEMM 维度选择
- 2026-05-18 优化器算法（一）：Adam 和 AdamW
Triosim模拟器
- 2026-05-27 TrioSim 模拟器 （五）：消息的发送和接收
- 2026-05-27 TrioSim 模拟器 （六）：Cases 总结
- 2026-05-26 TrioSim 模拟器 （三）：TracePlayer
- 2026-05-26 TrioSim 模拟器 （四）：内存和网络模型
- 2026-05-25 TrioSim 模拟器 （二）：Trace 的产生和处理
- 2026-05-24 TrioSim 模拟器 （一）：事件驱动模拟
大模型架构
- 2026-06-01 DeepSeek-V3（一）：稀疏注意力机制（DSA）
- 2026-05-30 DeepSeek-V2（二）：MLA
- 2026-05-30 MoE 负载均衡损失的数学推导：从损失函数下界到 MoE 可微辅助损失
- 2026-05-30 位置编码（一）：旋转位置编码 RoPE
- 2026-05-29 DeepSeek-V2（一）：DeepSeekMoE
- 2026-05-25 Transformer 架构：Scaled Dot-Product Attention 的缩放因子推导
Llm推理框架
- 2026-08-27 解析 FlashAttention（4）：FlashAttention-v2
- 2026-08-27 解析 FlashAttention（5）：FlashAttention 和常用 triton 算子
- 2026-08-20 解析 FlashAttention（1）：从标准 Attention 讲起
- 2026-08-20 解析 FlashAttention（2）：FlashAttention-v1 前向传播
- 2026-08-20 解析 FlashAttention（3）：FlashAttention-v1 反向传播
- 2026-07-29 vLLM：从零开始掌握
- 2026-07-17 LoRA 大模型微调：原理、推导与实现
- 2026-07-16 FlashDecoding 数学推导（二）：传统方法与 LSE 方法
- 2026-07-15 FlashDecoding 数学推导（一）：传统方法
- 2026-07-13 softmax 修正公式：Log-Sum-Exp (LSE) 方法
- 2026-07-13 奇异值分解（SVD）和低秩逼近
- 2026-07-07 代码的一些规律
- 2026-06-02 AI Infra 之 LLM 推理优化学习路线
Rlhf
- 2026-06-02 RLHF 学习路线
- 2026-06-02 翻译：HybridFlow: A Flexible and Efficient RLHF Framework（未完成）
Api中转
- 2026-06-22 CPAMC-API中转
思路
- 2026-06-22 等待实现的思路
Agent Memory
- 2026-06-26 MemoryBank: Enhancing Large Language Models with Long-Term Memory
- 2026-06-25 Reflexion: Language Agents with Verbal Reinforcement Learning
- 2026-06-24 Generative Agents: Interactive Simulacra of Human Behavior
- 2026-06-24 Improving language models by retrieving from trillions of tokens
- 2026-06-23 Lost in the Middle: How Language Models Use Long Contexts
- 2026-06-23 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- 2026-06-23 目录
数学原理
- 2026-08-07 大模型中的数学（002）：DP 中的梯度缩放
- 2026-08-05 大模型中的数学（001）：Gumbel-Max Trick 代替随机采样
- 2026-07-03 概率密度函数（PDF）与累积分布函数（CDF）
- 2026-07-03 自相关函数
- 2026-06-26 ELBO、KL散度、方差、协方差、相关系数
- 2026-06-25 凸函数、凹函数、Jensen不等式
每日英语训练
- 2026-08-11 每日听力口语训练
Gpu预取技术
硬件架构
- 2026-08-31 Jalapeño 架构设计
学习资料
- 2026-09-02 AI Infra 学习资料
- 2026-09-02 CUDA 学习资料