deepseek-v4

最近太忙了 有空再来补上ds-v4的技术博客

目前看他们的技术报告的话主要新增的特性就是

1. hybrid attention：用了CSA和一个低秩投影之后的dense attn HCA
2. mHC （Manifold-Constrained Hyper-Connections）：
3. Muon Optimizer

包括从V3中继承的 MoE，MTP等等

1. hybrid attn

CSA

在没看之前，我以为ds会沿用之前的DSA，再混合一个线性注意力或者比较dense的小注意力；然而这次却使用了一种新的注意力

DSA已经大大缓解cache的压力，将其从$N \times n_{head} \times h$变成了$N \times h_c$，那么新的CSA要做的，就是进一步减少这个$N$

Compressed Sparse Attention，就是做一个compress+sparse；也就是说直觉来说直接把几个kv压缩成一个，同时在计算attn的时候用sparse选idx

2. mHC

Q: 为什么要引入新的残差

论文中说是to strengthen the conventional residual connections between adjacent，也就是说随着模型深度的增加，standard的残差稳定性会更加的敏感，噪声会随着层级的深入而累加，可能导致梯度爆炸

pre-norm在一定程度上可以缓解这个问题，在归一化之后能保证梯度的回传。但是它会带来一个新的问题输出缺陷，他会让f(x)输出的权重遍地，在层数深入之后，残差就接近一个恒等变换

用一个形象但是可能不太恰当的比喻：残差就是一条条的拼接的道路，一条路上出了事故造成了拥堵，就会一点点累积；而norm则是在每个路的交界处设置一个收费站来限制车流，拥堵的可能性减少了，但是最终的流量也会大幅下降

那么既然一条大路行不通，用几条小路来实现残差连接能不能取得更好的效果呢

Transformer blocks