↓ 跳过正文

项目

2026

SGLang-Omni:多模态语音大模型投机解码与异步重叠调度 ↗ ↖

面向 sgl-project/sglang-omni 的 Algorithm–Infra Co-design 开源贡献:(1)实现 MiniCPM-o 4.5 双流异步投机解码重叠与请求级双深 Hidden FIFO(PR #3782),消除 WAW 竞态与 c16 同步投机倒退,在 H100 上实现 Speech Out 1.25×–1.46× 无损加速;(2)完成 Qwen3-TTS 双层 RVQ 自回归模型内/外层投机草稿器训练与信息论/系统流双维度无损证伪(Issue #2941 P3.6 & #3583)。

kernel-skills ↗ ↖

面向 Claude Code / Codex 的 GPU kernel 开发 skill 集合,按 CUDA / Triton / NPU 分目录组织。已实装 CUTLASS/CuTe 环境配置(依赖检测、编译模板、VSCode IntelliSense、故障排查)与算子精度对拍(数值对拍 SOP、多 dtype 容差查表、TF32 污染规避),适配 sm_120(Blackwell)。

FastGNN:TensorCore GNN 训练系统 ↗ ↖

H100 上基于 TensorCore 的图神经网络训练系统,自研稀疏算子后端(Voltrix block-sparse SpMM、Fused3S 稀疏注意力、Rabbit 节点重排),相对 DGL/PyG 1.8–3.3× 加速。

2025

CUDA GEMM Kernels ↗ ↖

从零手写 8 个 CUDA GEMM kernel,覆盖 FP32 CUDA Core 与 FP16 Tensor Core WMMA;SGEMM v3 达 cuBLAS 的 95.1%,HGEMM v3 达 213 TFLOPS。