第1344章 RC-1401的显存只有12G (第2/3页)
别提训练了。”
一提到算力和硬件瓶颈，何凯明也泄气了，苦着脸吐槽道：
“咱们现在训这个62层的网络，光是做跨卡的数据同步和梯度汇总，通信延迟就吃掉了将近四成的计算时间！那帮做游戏显卡的海外厂商，底层驱动根本就没有为超深层神经网络的并行计算做过专门优化。
这些天我每天写算法的时间，还没帮工程组那帮兄弟调试显卡通信的时间多呢！再这么折腾下去，我感觉我都成工程组的，而不是算法组的了。”
“别抱怨了，咱们苦日子马上就要熬出头了。”
成文飞笑了笑，压低声音透露了一个消息：“昨天陆远江陆教授告诉我，他们团队专门为我们人工智能实验室做的第一代高通量张量算力卡，RC-1401已经在台积电完成流片封装，最快下个礼拜就能把第一批工程样卡送回深城！”
“新卡有24 组通用计算簇和12GB GDDR5显存，位宽也达到了384bit。”
“FP32可以达到4.1 TFLOPS。”
“等我们拿到第一批工程样卡进行上机测试，只要验证没问题，就可以立刻拉上软件工程组的人，一起动手解决分布式训练的框架和集群调度问题了。”
何凯明听着这个参数，脸上露出惊喜的表情，不过随即又有点遗憾的说：“显存感觉有点低啊，只有12G，目前来说是够用了，明年随着参数的指数级增加，可就不一定够用了。”
说完这句，何凯明以为成文飞会和自己一样感觉显存低，没想到的是他竟然露出一个笑容，然后小声的说道：
“凯明，现在显存小点不怕，反正这卡属于第一代，也是我们陆教授团队解决从成都到1的卡，未来可就不一定了。”
“哦？”何凯明也来了兴趣，追问道：“公司难道有什么新技术能大规模提高显
（本章未完，请点击下一页继续阅读）