第334章 林启航 (第1/3页)
下午三点。
英伟达园区。
黄任寻安排了一间小会议室。
桌上放着OpenAI经过处理的训练报告。
三点十分。
会议室门被推开。
一个三十左右的华裔青年走了进来。
他穿着格子衬衫，头发有些凌乱，鼻梁上架着一副棕色眼镜。
林启航先朝黄任寻打了声招呼，目光随即落向陈默：“黄总说，OpenAI想找我聊聊？”
“坐下先看。”陈默将报告推至他面前。
林启航翻开第一页，神色尚算平静。
翻到第三页，指尖的碳素笔已在几组通信延迟数据旁划出痕迹。
到了第五页，他的速度明显慢了下来。
“你们把所有参数更新都堆在同一个通信阶段？”
“目前是。”
“难怪会堵。”林启航笑了一声，手里的笔几乎没停，“显存分配逻辑也有问题。不同长度的序列全按最大空间预留，大部分根本没必要保留，直接重算成本反而更低。”
“单卡训练还能硬撑，放到几百张GPU的集群里，这种愚蠢的浪费会被成倍放大。”
他拿起笔，在空白处画出几个简单方块。
“参数更新可以拆开。”
“这一层计算时，上一层便开始通信。”
“再将数据按照长度重新分组，减少无效填充。”
“如果重新设计几个核心算子，利用率至少能先提高到百分之五十。”
黄任寻端着咖啡坐在一旁，始终没有插话。在英伟达，林启航是极少数能将CUDA底层架构、硬件指令集与分布式编译榨干到最后一滴性能的怪才。
陈默神色从容，只是淡淡抛出一句：“这只是五百一十二张卡。明年，OpenAI的集群规模是八千张，未来，是数万张，甚至十万张。”
林启航手里的笔锋骤然顿住。
“什么模型，需要这种量级的算力？”
“一个能通晓多任务的通用底座。”陈默揭开随身笔电，屏幕上随即播放起最新的原型演示。
同一个未经微调的模型，行云流水般完成了长文摘要、逻辑推理与跨语种翻译。
林启航的目光被牢牢吸在屏幕上，眉头微蹙：“多模型融合？”
“同一个模型。”陈默报出一串参数规模。
林启航摇头：“按这个规模，底层的泛化与涌现能力不合常理。”
“所以，我们需要更大的尺度。”陈默扣上笔电，“我需要你来做整套计算系统的掌舵人。”
林启航没有立即答应。
“英伟达同样在做深度学习。我为什么要离开？”
“在英伟达，你可以继续优化世界上最好的GPU。”
陈默看着他的眼睛。
“加入OpenAI，你要解决的是另一件事。”
“如何让一万张GPU，像一台机器一样工作。”
“如果这条路走通了，未来人工智能能触碰到多高的上限，不仅取决于算法与芯片制程，更取决于你亲手打造的这套算力底座能撑起多庞大的世界。”
林启航定定地看着陈默：“如果这条路线在物理上根本行不通呢？”
“那就找出原因，重新开始。”
陈默语气平静。
“
（本章未完，请点击下一页继续阅读）