https://yiwen-cai.github.io/Recent content in 首页 on Yiwen CaiHugo -- gohugo.iozh-cncaiyiwen.cs@foxmail.com (Yiwen Cai)caiyiwen.cs@foxmail.com (Yiwen Cai)© 2026 Yiwen Caihttps://yiwen-cai.github.io/notes/papers/rl-meets-llms-survey/Tue, 04 Aug 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/notes/papers/rl-meets-llms-survey/梳理 RL 如何贯穿 LLM 全生命周期——预训练/Mid-training、RLHF 对齐微调、RLVR 强化推理三条主线；从策略梯度、PPO 到 GRPO 的算法演进，以及 RLVR 是否真正扩展推理能力、熵坍缩与性能上限等争议。https://yiwen-cai.github.io/about/Fri, 10 Jul 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/about/https://yiwen-cai.github.io/notes/llm-inference/kv-cache-optimization-survey/Fri, 10 Jul 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/notes/llm-inference/kv-cache-optimization-survey/以 KV Cache Size = 2×L×T×H_kv×D_h×bytes 为锚点，系统梳理 2023–2026 年 KV Cache 优化全景：PagedAttention 与 KV-aware serving 的系统管理、DapQ/LaProx/TurboQuant/LongFlow 等压缩新方法、MHA→MLA→DeepSeek V4 CSA/HCA→GDN→MLRA 的架构演进，并讲清四条路线（压维度/压序列/少访问/固定状态）的边界。https://yiwen-cai.github.io/notes/papers/sparsec-speculative-decoding/Sat, 20 Jun 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/notes/papers/sparsec-speculative-decoding/针对推理语言模型长输出的 memory-bound 瓶颈，用同一模型做 self-speculative decoding——verification 阶段顺手 dump 出 attention scores 做 Top-K，作为后续 draft 的动态稀疏模式，零训练、无损、最高 2.13× 加速。https://yiwen-cai.github.io/notes/papers/flashattention/Thu, 18 Jun 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/notes/papers/flashattention/通过 IO-aware 的 tiling 和重计算，在不改变 attention 数学定义的前提下大幅减少 HBM 读写，实现 2-4× 加速与 5-20× 内存节省——attention 优化的基础构件。https://yiwen-cai.github.io/notes/systems/cs336-distributed-parallelism/Mon, 15 Jun 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/notes/systems/cs336-distributed-parallelism/从单 GPU 扩展到多 GPU/多机并行：集合通信原语（all-reduce = reduce-scatter + all-gather）、NVLink/InfiniBand 互联，以及 DDP、FSDP/ZeRO、Tensor/Pipeline/Sequence Parallelism 的取舍与实践法则。https://yiwen-cai.github.io/notes/triton/cs336-kernels-triton/Sun, 14 Jun 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/notes/triton/cs336-kernels-triton/从硬件抽象进入 kernel 编程实践：warp/occupancy/bank conflict/coalescing 如何映射到性能，benchmarking 与 profiling 方法论，以及用 Triton 实现 GeLU、softmax、row sum、matmul+ReLU 四个 kernel。https://yiwen-cai.github.io/notes/cuda/cs336-gpu-attention/Sat, 13 Jun 2026 00:00:00 +0000caiyiwen.cs@foxmail.com (Yiwen Cai)https://yiwen-cai.github.io/notes/cuda/cs336-gpu-attention/从模型结构转入系统视角：为什么 LLM 必须依赖 GPU、GPU 的执行模型与内存层次、arithmetic intensity 与 roofline model，以及如何用这套性能模型解释 FlashAttention 这类 IO-aware 算法。