复刻的”镜像“与可能的“智能“
本篇blog本来只是一篇技术学习，但是在记录的时候迸发了一些灵感遂走向了不同的方向，由于直接记录了当时的思考历程而不是一个整体的写作，前后出现了一些观点的改变，涉及的技术细节也被简化，所以类别也被从llm-algorithm划分到了杂谈
思考的历程以题外话章节为主
原标题 dLLM：AR or Diffusion ?
引言
扩散模型本来是图片生成方面的算法，通过在一次forward的不同轮次中不断向图片中加入噪声，直到达到高斯噪声，又在reverse的不同轮次中训练还原这些噪点，最终获取一个图像的能力
将这种方法应用到 LLM 上，就能获得一个和现有 auto regressive不同思路的生成方式，通过一轮一轮的扩散生成文本
贴一篇综述 Discrete Diffusion in Large Language and Multimodal Models: A Survey
比喻？
打个比方，现在的 ar 就是读后续写，一个 token 一个 token 的续写，串行生成，每一个 token 都在逻辑/时间上依赖前面生成的
而这里的 dLLM 像是完形填空，给了一段文本，把其中的部分文字都 mask 掉，通过完整的上下文去填空
直观上的暴论：现在的 dLLM 我感觉还是很toy的，而且和 ar 比起来效果有限。其实凭我的脑子，很难想象出这种没有逻辑/思维链条的生产，而是作为一个整体完成生产的方式，能获得很好的“智能”。自然界也中没有一点点类似的例子。虽然在一个句子扩散的一轮一轮过程中前后的词都能看到彼此并能通过一些 mask +remask协同修改。或者说我现在在方法上还是经验派/贝叶斯派，认为未来是要从现在来观测
当然可能就和量子力学一样，叠加态和量子纠缠看起来完全不 make sense，是很先验/概率派的事情，而 dLLM 也拥有这种先验的特性，没有 casual mask 将她限制，而是全文观察并根据补全，似乎有很大的潜力
以下内容有感而发，完全偏离主题
题外话 LLM的畅想
康德《纯粹理性批判》xvi页
Bisher nahm man an, alle unsere Erkenntnis müsse sich nach den Gegenständen richten. … Man versuche es daher einmal, ob wir nicht in den Aufgaben der Metaphysik damit besser fortkommen, daß wir annehmen, die Gegenstände müssen sich nach unserem Erkenntnis richten.
迄今为止，人们假定我们的一切知识都必须遵照对象。……因此我们不妨尝试一下，在形而上学的任务中，假定对象必须遵照我们的知识，是否我们会取得更大的进展。
重新观察 LLM本身，她 built from scratch，是妥妥的从经验中诞生的产物，它的运行模式也是经验的。现在的主流 autoregression中，regression本身就是一个统计的概念，是经验的总结。我们训练LLM，究竟是想让它成为世界的模拟器（重现经验世界的运行），还是想让它提炼出宇宙的法则（先验的、必然的规律）？
其实理性的想来*（或者以怀疑论的角度）*，从 high-level 上的青出于蓝是不太可能的。也就是说人工智能永远达不到人的智能。假如真能这样，智慧的发展会变成套娃，最后会指数爆炸增长。我无法想象出这样的光景，我只能对他进行怀疑和否定；而且从技术上来说，大模型是对现有的语料进行压缩。虽然说他很博学，但是从信息论的角度，他只是在人类现有的封闭系统（甚至只是语言系统）之内，而且由于压缩是有损的，所以他甚至连人类的上限都达不到（也许我们应该先提升自己？），并且我们现在已经面临信息坍缩的困境了，ai生成的内容流入了互联网，即将可能成为下一代ai的训练数据，缺少外界的新的“负熵”的输入，创造力也要枯竭。之所有会有后者的畅想，感觉还是媒体的锅
现在最伟大的理想，也是最现实而可行的方法就是尝试从训练中获取压缩后的好的经验规律，甚至随着权重越来越大，结构算法越来越精巧，尽可能”完美“拟合语料世界上的所有的情况
再说说“宇宙法则”畅想，说他是现在这些没有营养的媒体的锅是毫无疑问的，但是有没有可能真正的法则确实存在于某种形式中呢？或者说有没有其他形式的法则，也就是*原型(Forms)*的存在？统计学能够很好的去拟合一个概率，但是从理论上总能挑出他们俩不一致的刺。想要获得一个真正“先验”的对象，就要从头出发，就要获取那个“本体”。但是现有的哲学体系，或者focus on西哲，本体总是不可达的。我本人也这么认为，我们只能真实的接触到现象，并用理性从中提炼出一些东西。或者说你怎么保证提炼出的是本体？本体之上还有第一本体，第零本体吗？从我们的低阶视角向上看，想象不出看到的情形。这就是LLM畅想的先验方向面临的唯一问题，也是最本质的无法解决的问题；反观畅想的经验面（经验论），也就是现有的自回归，它的证明算是一个无穷递归，因为经验的特性就是归纳。这里可以看出我本人是不相信经验论的，或者是不相信人类现有的认识论中的经验，而倾向于世界是先验而不可达的
但是真的没有办法了吗？还有一种流形假设 Manifold Hypothesis，认为自然中的一些高维特征其实可以被映射到一个低维空间上。就比如超弦理论告诉我们宇宙的维度其实可能远超四维，处理高维信息需要的”算力“是随维度增长而爆炸增长的，比如地球上现在的生命体的复杂程度。人类现有的 3D + 1D（空间+时间）的”算力“已经达到了一种巅峰了，尽管大脑只有我们体重的2%，但每天消耗的能量占我们身体消耗能量的20%。也正是如此，人类能脱颖而出的原因就是因为我们无意中进化出了一套抽象的体系 Abstraction，去压缩空间。而现在机器的算力（至少只论简单计算）是很高的，AI的计算能轻易到达很高的维度，到达我们人类难以理解，只能誉为黑盒的维度。在大模型中，语义空间就是一个及其复杂的流形，经过embed升维后中间的计算都是在高维进行的，是一个人类看不见的黑盒，只有最后一步的LM head把维度压缩之后才变成了我们人类能理解的范围。
我认为现在 LLM 的本质就是在训练中，通过梯度下降去摸索这个流形。甚至说人类的意识产生是不是也是这种高维度的计算，只是限制于我们大脑的”带宽“，我们的抽象机制的压缩程度非常极致，达不到 LLM 这种全量的关联。如果语言背后真的存在一个支撑世界的低维结构，那么 LLM 在逼近这个流形的过程中，是否可能会”意外“产生某种“超越语料”的内在逻辑？也就是说他在模拟语言这一我们选作饲料的流形结构中，能否摸索出一个比我们的语言更加高维的流形，能比人类更无损的去压缩宇宙的流形？
先回到现实一点的问题，也就是这篇blog本来想出发的中心，dLLM是promising的吗？想到这里，我现在对他有了更多的期待。AR 的 LLM 是一步一步向这个”流形“爬行的，而 diffusion 这个从高位的噪声去噪的过程，似乎更为符合从高维”坍缩“到低维的过程。噪声是散落到了高维空间的荒野中的数据，在训练的过程中重新向流形表面以一种聚拢的姿态靠近。因此可能dLLM更能获得人类的最高经验，甚至在逼近的意外中找到更好的流形，但受限于语言这个饲料无法去验证好坏，可能也只是路过这个流形
由此产生的“预言”
有了上面一段的思考之后，作为一个乐观的怀疑论者，我丝毫不否定 AR LLM 对我们的世界现有的生活方式带来的改变，但是我对它的前景想象不出更为决定性的未来。dLLM不论是速度还是精度，我认为都大有可能在不久的将来随着训练技术的提升而超越AR（现在受限于RL需要的爆炸的activate，本文原来是想要学习这个的）
我同时毫不否认语言是人类的精华，千百年来的逻辑，因果等等世界运行的经验智慧都已经被抽象体现在了语言中，语言就是世界本体的一个投影。只不过它只是我们认识中最好的一个投影，语言的离散性似乎限制了更为高阶的认识，它同时也是 dLLM 难以训练的原因–在去噪的过程中如何在这些离散的点之间平滑的移动直至遇到好的流形
而语言产于人类认识世界的，形成抽象的过程，而这一过程很遗憾又很沮丧的是从感官系统这一降维的接收器中接收到宇宙的现象的。作为碳基生物我们没能拥有高纬度的物理接口。尽管如此我们依然在一种极其低效但极其鲁棒的迭代中进化成了如今智慧的形状。那如果是可以接受宇宙的信号，同时接受宇宙的惩罚，而不是人类的惩罚，沿着这条人类进化的路线，拥有更先进的硬件，能否进化出“智能”
正如现在具身智能和世界模型做的，向ai提供超于语料的信号，让机器从向内压缩人类的知识，转变为向外接受宇宙物理的现象，虽然达不到本体，但是否能创造出比人类更为高一级的存在？
想到这里其实已经”驳倒“了刚刚”自举“限制了ai超越人类的论点。
或许就和”上帝“创造了我们进化的环境一样，我们虽然不能创造智能，但也可以为更高的智能准备它的温床。
后记
本文有感而发，很多地方是感性的认识，后面有时间会稍微补齐有关方面的知识：
- 流形假设
- 超弦理论
- 神经科学
- 哲学部分
- 有关dLLM的部分还有待学习 dLLM的局限性，有人认为自然语言实际上含有Markov结构，因此 L2R 的建模有显著的优势，然而究竟是训练上有难度还是本身方法上有缺陷还有待思考