663 都怪百度（4K） (第3/3页)
稚，不过，对於这件事的可能性也不是特别着急，连可以随时询问吴恩达等人的自己都难以摸清，那投资人们就难搞清楚了。
而且，美国之行就可以直接登门拜访请教。
DLF都愿意开源自己研究的东西，不要求其他家把他们研究的东西全部亮出来，对比找找参照总是可以的吧。
就在次日，吴恩达把TD—1模型更详细的材料发了过来。
俞兴推开半天时间，专门窝在办公室里啃这篇邮件。
按照吴恩达的表述，TD—1模型的本质是使用了12层Transformer编码器，再通过双向掩码预训练的自然语言处理模型，总参数量在1.1亿。
俞兴仔细看文件里的描述，怀疑是参数量还不够高的问题，但是，等到反覆浏览之後，另外一处对Transformer论文的描述又引起注意。
由谷歌发布的Transformer论文，它提出的是一套完整的编码器+解码器的架构，编码器用来理解输入的意思，解码器用来生成输出的文本。
俞兴静静的思考，编码器，理解，解码器，生成。
TD—1模型主要使用的是编码器的架构。
他乾脆把相关内容都写在了面前，然後把电话再次打给吴恩达：「吴总，为什麽我们
的TD—1主要是使用编码器，我看Transformer论文不是包含编码器和解码器吗？」
「刚开始我们用Transformer的时候确实是这样，但後来发现两个模块是可以拆开独立使用的。」吴恩达解释道，「我们认为首先得让模型能够读懂意思，最开始我们尝试了两个模块的对比，相同的参数下，编码器模型在语言理解上可以比解码器模型高出至少10%的效果。」
「而且，参数越大，两种模型的效果差距越明显。」
吴恩达没有深入的讲解技术问题，没听到俞总的回应，思考着又说道：「另外，TD模型这种编码器，它的结构更简单，推理更快，可以用更少的参数做出更好的效果，我们其实也参照了过去在百度的经验，TD—1更适合百度那种高并发和低延迟的海量业务场景，部署成本肯定会远低於同样效果的解码器方案。」
俞兴心中的倾向变得更加清晰了。
他轻轻叹了口气：「吴总，我明白了。」
吴恩达不解：「明白什麽了？」
俞兴肯定的说道：「都怪百度。」
都怪百度带来的坏习惯，让吴恩达等人潜意识考虑更适用於它的方案，当然，这仍然只是一种猜想，但验证起来就更简单了。
俞兴基本能够理解这里面可能存在的不同技术路线到底是什麽样，也就能够更加精准
的寻找佐证。
吴恩达听着电话里的声音，从头到尾都不明白俞总到底在疑惑什麽，这会也只能说道：「俞总，TD模型的挖掘潜力还很大，我们是有信心把它做到更好的。」
「没事，吴总，慢慢来，不要考虑机构投资的压力，连我都不懂，他们更不懂了。」俞兴看着面前被自己写出来的东西，随手又在上面画了圈，说道，「吴总，我有问题再给你打电话。」
吴恩达答应了，听着挂断的声音，不知道俞总在忙活什麽。
俞兴放下手机，再度拜读吴恩达发来的材料内容，确定自己基本理解可能存在的方向差异，随即把电话打给了刚被OPENAI赶走的马斯克。
「埃隆，OPENAI是不是在使用Transformer解码器进行主要的研究？」
马斯克接到大空头的电话，完全没想到对方会问这个东西。
他答道：「这是什麽东西，我不清楚。」
「帮我问问呗。」俞兴说道，「我验证验证想法，过一阵到美国请你喝酒。」
「你要来美国？」马斯克诧异，又说道，「那我要一瓶最好的红酒。」
俞兴毫不犹豫的答应了。
电话结束，等待答案。
大约十分钟，马斯克的回覆来了，OPENAI确实在使用纯Transformer解码器的技术路线，也就是奔着生成的方向。
俞兴看着简讯，感觉这瓶红酒太值了。
>