维护公告

虽然没人在意，但还是公告一下

终于结束了期末周，博客将于7月进行维护，包括：

• 补上前面的坑
  • [ ] 线代系列
  • [ ] sg游记
• 根据新的知识略微更新一下以前的文章有知识性错误的地方
• 可能尝试换一个博客的框架，因为想要支持一下live图，不过优先级没那么高

二更：

已经完成了维护，并将博客用astro框架重构了一下

新地址

本博客已弃用，日后可能用作个人主页

ICS-note

ICS2 note, organized based on slides and textbook

因为最近太忙了，其实草稿箱里有好几篇blog都没空动笔，

先拿这篇 ics 的复习笔记水一水，后面应该会增加更多思路性的东西，能把整篇穿起来

DSA算子分析

经过了前置的学习DSA以及FA的学习之后，是时候分析一下现有的dsa算子了

分析的来源目前均为推理引擎SGLang中现有的实现

由于我现在接触到的是H卡，所以下面的分析基本都以 Hopper 架构为基础

Flash-attention 学习

一直在用但是还没真正去学习，最近在看有关dsa算子的部分，想要去看一下flash-mla的实现，但是flash-attn这个前置条件还没满足

趁着最近几天都没有什么workload，来学习一下

杂谈一篇——与LLM共处的精力困境

终于算是把最近的任务都基本上完结了，打算在接下来的几天和五一假期看一些感兴趣的东西，先了结一下这篇文章

想了想还是把这篇文章发出来，反正以后回看的时候肯定每一篇都觉得childish（）

常见树结构详解：从二叉树到 B+ 树

本文系统梳理九种常见树结构的定义、核心算法与复杂度分析，覆盖二叉系列与多叉系列

最近太忙了 有空再来补上ds-v4的技术博客

目前看他们的技术报告的话主要新增的特性就是

1. hybrid attention：用了CSA和一个低秩投影之后的dense attn HCA
2. mHC （Manifold-Constrained Hyper-Connections）：
3. Muon Optimizer

包括从V3中继承的 MoE，MTP等等

1. hybrid attn

CSA

在没看之前，我以为ds会沿用之前的DSA，再混合一个线性注意力或者比较dense的小注意力；然而这次却使用了一种新的注意力

DSA已经大大缓解cache的压力，将其从$N \times n_{head} \times h$变成了$N \times h_c$，那么新的CSA要做的，就是进一步减少这个$N$

Compressed Sparse Attention，就是做一个compress+sparse；也就是说直觉来说直接把几个kv压缩成一个，同时在计算attn的时候用sparse选idx

2. mHC

Q: 为什么要引入新的残差

论文中说是to strengthen the conventional residual connections between adjacent，也就是说随着模型深度的增加，standard的残差稳定性会更加的敏感，噪声会随着层级的深入而累加，可能导致梯度爆炸

pre-norm在一定程度上可以缓解这个问题，在归一化之后能保证梯度的回传。但是它会带来一个新的问题输出缺陷，他会让f(x)输出的权重遍地，在层数深入之后，残差就接近一个恒等变换

用一个形象但是可能不太恰当的比喻：残差就是一条条的拼接的道路，一条路上出了事故造成了拥堵，就会一点点累积；而norm则是在每个路的交界处设置一个收费站来限制车流，拥堵的可能性减少了，但是最终的流量也会大幅下降

那么既然一条大路行不通，用几条小路来实现残差连接能不能取得更好的效果呢

Transformer blocks

中位数以及k位数选取的算法

• 中位数
  • 众数
  • 归并有序序列
• k位数

Suede Shanghai

看帅老头

SGLang dsa