千千文学网

第167章 重启lr研究 三（第2页）

这些操作，在gpu上是极其低效的。它们不仅无法充分利用tensorcore的算力，还会导致大量的显存碎片化。

“推理一个简单的三段论，slrm消耗的算力，竟然是同等规模transformer的50倍！”

徐辰看著屏幕上的性能瓶颈分析，脑海中浮现出一个著名的学术概念。

“这简直就是教科书级別的『硬体彩票。”

徐辰喃喃自语。

所谓“硬体彩票”，是google研究员sarahooker提出的一个深刻观点：一种ai算法能否成功，往往不取决於它在数学上是否优越，而取决於它是否幸运地“中奖”了——即当下的主流硬体架构是否恰好支持它。

“transformer之所以能统治世界，不仅仅是因为“自注意力”机制设计得好，更是因为它中了『头彩。它的核心算子是矩阵乘法，而这恰好是gpu最擅长的事情。”

这一突破源於gpu的“无心插柳”——其本为处理海量像素设计的並行架构，恰好完美契合了神经网络的矩阵运算需求。

“而我的slrm，虽然在逻辑推理的数学本质上碾压了transformer，但它输掉了这场『彩票。”

徐辰冷静地分析著，“现有的gpu架构，对於几何集合运算和复杂的非线性逻辑，是天然排斥的。tensorcore里的乘法器在面对我的『交集运算时，就像是用一把精密的狙击枪去当烧火棍使。”

歷史总是惊人的相似。当年深度学习受困於cpu的串行计算，效率低下，一度被视为无法商用的玩具，直到吴恩达引入gpu並行加速才彻底打破了僵局。

“现在的slrm也正处於这种尷尬的『硬体真空期。”

“cpu逻辑控制强，但核心数太少，吞吐量带不动海量计算；而现有的gpu虽然並发强，底层却全是为矩阵乘法设计的。”

“要想让slrm真正落地，光靠软体优化是不够的。就像谷歌为了追求极致效率，彻底剥离了图形功能，研发了专为矩阵计算设计的tpu（张量处理单元）一样。”

“slrm也需要属於它的『tpu。”

徐辰的目光变得深邃，“最好的办法就是针对slrm的运算特性，单独开发一个適合几何运算的处理器，也许可以称之为——lpu（逻辑推理单元）。”

当然，这一切得建立在slrm带来的经济价值足够大的前提下。

……

隨后，徐辰又思考了一下，slrm应该还有其他2个问题。

一个是泛化能力的边界。

slrm的强大，建立在“逻辑可形式化”的基础上。

对於数学题、逻辑题、代码生成这种有著严格规则的任务，它简直就是神。

但是，对於那些模糊的、感性的、没有標准答案的任务呢？

徐辰目前在这几个测试集中能有较好表现，本质上是因为这些数据本身含有逻辑信息，可以训练模型。

但是，现实世界中的逻辑关係千奇百怪。

比如“猫”。在生物学上，它是猫科动物；在文学上，它可能是“高冷”的代名词；在网络文化里，它甚至是“主子”。

而且有些场景就是天然弱逻辑的，比如写诗，比如閒聊，比如情感諮询。

slrm的几何约束太强了，它像一把铁钳，死死地卡住了模型发散思维的翅膀。它不允许模型说任何“逻辑不严谨”的话，哪怕那是修辞，是比喻，是艺术。

“成也逻辑，败也逻辑。”

“看来，未来还需要设计一个更灵活的『调度器，让模型知道什么时候该用slrm，什么时候该放飞自我。但这又是一个巨大的工程量。”