，他很清楚，自己的下一篇论文的雏形已经出来了。
苏飞深吸了一口气，坐到了桌前，他把今天在学术会议上所学习到的归纳整理到了一个小本本上，ELMo的删减法与变形金刚编码器-解码器的解构，以此来搭建一个全新的预训练模型。
苏飞快速地在小本本上写写画画，脑海深处源源不断地涌出灵感，一遍遍冲刷着他的思想。
苏飞首先想到的是韩国小哥的那个学习ELMo的删减法，不能过度删减，因此……
“根据注意力机制的位置信息和ELMo的单层结构特性，应该可以把整个解码器部分删减，编码器完全留下，结构上可以这样……”
苏飞大笔一挥先把变形金刚删了一大半，随后根据麻省理工学子的解构方法进行小范围地修修改改，直到把大致的模型结构图画好。
“既然舍弃了变形金刚端到端算法的优势，那么就无法做机器翻译这种任务了，但其他任务能正常进行就无伤大雅……”
苏飞颇为认真地自言自语道。
想要把变形金刚做成预训练模型，那就必然要割舍一些功能，这一点苏飞倒是早有准备。
“但是如果要做预训练模型，如何才能让它训练词向量或者图向量本身……”
苏飞的笔一下子就顿住了。
这就是问题所在了，学会上也暂时没人提出相关理论……如果提出了这个相关的理论，那变形金刚的预训练化怕是已经被别人摘去了。
苏飞也不相信有人特么的能这么快。
苏飞猜测这个问题的解决方案大概率是和变形金刚的遮盖（mask）机制有关。
思路既然有了……不清楚过程的话，一张灵感激发卡！
苏飞现在可是豪横得很，1000积分的灵感激发卡那是眼睛也不眨一下。
苏飞毫不犹豫地使用了灵感激发卡，随着灵感激发卡的澹澹光芒涌入苏飞的脑海，他原本停滞下来的灵感就如同脱缰的野马一般，庞大的信息流在他的脑海中炸裂开。
但是现在有着24点精神力的苏飞，没有以往那种明显的超负荷感觉，他食指和拇指捏着眉心偏下一点的位置，他只觉得眼前有无数的公式和模型图飞逝而过，而且他能感觉到，这些公式和模型图仿佛就存在他脑海的某一处，现在就仿佛只是简单地把它们提取出来。
“奇怪的感觉……但还真不错。”
就像是化作了一个小光人被抽离出这个世界，去了另一个满是知识的世界一样……
简单来说，在那一刹那，苏飞变成了光。
“唔……原来遮盖机制是这样使用的，如果是做自然语言处理，只需要按照一定概率把一句话的数个单词遮盖掉，然后让预训练模型去预测被遮盖的这个单词本身，而训练结果就是被预测单词本身，就能起到微调词向量的效果……
请收藏：https://m.youshu88.com
（温馨提示：请关闭畅读或阅读模式，否则内容无法正常显示）