第1345章 陈总懂个锤子技术 (第1/3页)
“不过未来太远，半导体的工艺指不定什么时候才能突破，还是看眼前吧，等RC-1401到了，咱们前期也不需要贪多求全，可以先搭建几个小型算力集群。”
“不需要特别多，单台服务器最多插满12张算力卡，咱们先建设四到五个这样的高密度节点组成一个集群，同时用来跑大批量的消融对照实验，足够应付今年下半年的研发需求了。”
何凯明深有同感的点了点头，“确实，步子迈太大容易扯着蛋，卡太多的话通信拓扑一乱全得趴窝。”
“四五个12卡节点组成一个集群，然后建设三四个集群的话，算力就非常充裕了！我觉得除了跑视觉的残差消融实验，我们还应该匀出一部分算力，同步进行小规模的早期RNN和LSTM序列建模实验！既然咱们刚才聊到了语音交互和记忆状态问题，现在就得提前为后面的序列建模和自然语言处理做技术铺垫了！”
成文飞停下脚步，低头沉思了片刻。
如果既要跑完整的大规模ImageNet子集训练，又要做序列建模探索，那现有的机器分配还得再精细化切分一下。
最好是在这四五个主力训练节点之外，再单独留出一个集群，不用跑长期任务。
专门留给底层工程师做自定义算子调试，以及FP16半精度与FP32单精度混合训练的数值稳定性对照实验！
毕竟要是能把半精度训练给跑通，显存占用直接砍半，计算吞吐量翻倍，那半导体部门搞出来的这批算力卡就能发挥出两倍的战斗力！
可是这么一盘算下来，新的问题又摆在了眼前。
人手根本不够用啊！
现在AI实验室里
（本章未完，请点击下一页继续阅读）