-logiqa:81。2%
“这……这怎么可能?!”
朱宋纯猛地站起身,椅子在地上划出一声刺耳的摩擦声。
几个博士生你看我,我看你,大气都不敢出。他们能感觉到,导师身上散发出的那种气场,不再是平时的学术威严,而是一种……混合著极度震惊、狂喜以及深深恐惧的复杂情绪。
朱宋纯作为业內顶尖专家,他太清楚这些数字意味著什么了。
这不仅仅是sota(当前最佳)。
这是碾压!是屠榜!
“等等……”
朱宋纯突然想起了什么。
前几天,硅谷那边闹得沸沸扬扬的“神秘x屠榜事件”。
那个把openai和谷歌都搞得人心惶惶的神秘模型……
难道……
徐辰就是那个“x”!?
朱宋纯的呼吸变得急促起来。
他迅速打开瀏览器,搜索了那几个榜单的最新数据。
果然,榜首那个神秘的“x”,其分数与论文中的数据,分毫不差!
“我的天……”
朱宋纯感觉自己的心臟在狂跳。
一个大一新生,在“閒暇之余”,搞出了一个让全球ai巨头都为之颤抖的算法?
这哪里是隨便玩玩!他这是在宿舍里手搓了个核武器出来啊!
……
然而,震惊过后,朱宋纯的理性开始捕捉到这种算法的缺点。
“不对……这玩意儿,现在的硬体根本跑不动。”
朱宋纯重新坐回椅子上,指关节有节奏地敲击著桌面,大脑开始飞速进行工程评估。
“目前的gpu,无论是英伟达的h100还是国產的昇腾910,其底层架构的设计哲学只有一个——为『矩阵乘法极致优化。它们擅长的是大规模、並行的线性运算。”
“但徐辰这个slrm架构……”
他盯著论文里那些复杂的几何公式:“大量的非线性几何交集运算、复杂的拓扑变换、频繁的条件判断……”
“这在gpu看来,就是最討厌的『分支预测和『標量计算。如果强行用cuda架构跑这个算法,h100的几千个核心大部分时间都会处於『等待状態,利用率恐怕连5%都不到!”
“这简直是用法拉利的引擎去拉磨,不仅慢,而且极度浪费!”
“而且,cpu也不行,核心数太少,吞吐量不够。”
朱宋纯嘆了口气,眼神中透出一丝无奈。
“工程上是灾难级的。要想產业化,必须重写底层的算子库,甚至……需要专门设计一种新的晶片架构——逻辑处理单元(lpu)。”
“不过,至少从理论上证明了这条路是通的。”
朱宋纯站起身,走到窗前,望著窗外正在建设的计算中心,思绪飘回了七年前。
“2017年,当transformer架构刚横空出世时,情况比现在好不了多少。那时候,推理一个简单的翻译任务,成本高达每百万token100美元,慢得像蜗牛。”
“后来,產业界花了整整五年。通过flashattention优化显存读写,通过kvcache加速推理,通过量化技术压缩模型……硬生生把推理成本降到了现在的0。01美元,降幅高达99。99%!”
“正是这无数工程师堆出来的工程奇蹟,才造就了chatgpt的爆发。”
朱宋纯回过头,目光重新落在屏幕上。
“如今,徐辰这个slrm,就像是当年的transformer。”