在自然语言处理这个机器学习的典型方向引入预训练。

无疑等同于将部分优秀学生在学习中会用到的一种特殊的技巧“移植”过来。

这种思路无疑很是很巧妙。

思路固然很巧妙。

但正如路边李苦的道理一样。

为什么这种很巧妙的思路以前却没人尝试过呢？

尹芙·卡莉觉得未必是没人想过这方面。

但别人却无一例外的失败了。

涉及到知识的汲取，或许绝大多数人也知道先将80%有共性的知识搞定再搞定另外的20%可以省力。

但从过往的学业上看，尹芙·卡莉觉得她身边能够做到先将知识80%的共性找出来再去攻克疑难处的人少之又少。

甚至于除了尹芙·卡莉眼中的学霸之外根本没啥人能做到这一点。

尹芙·卡莉眼中的学霸又能有多少人呢？可以说是寥寥无几了。

也就是说这种先将80%有共性的知识搞定再搞定另外的20%这种很明智的做法实际很少有人应用。

明明是看起来更加容易的方式。

什么没多少人这么做？

尹芙·卡莉觉得主要原因是：

——大部分人并不善于找到知识的共性。

在不善于找到知识共性的情况下，一部分人虽然会尝试着找知识共性。

但实际上操作的时候找到80%知识的共性完全是奢望。

可能只能找到30%、20%甚至更少知识的共性。

如此一来这些人非但没有能够找到主体知识的共性。

反而在找共性的时候不知不觉将其余一些原本是普通的内容给异化成了这些人眼中的“非共性知识”。

而非共性知识在这些人心中又被这些尝试找共性的人心理暗示成了比较麻烦的知识。

这些原本并不是特别难的知识，在心理暗示的debuff下。

效率甚至比不找共性时的效率还要低。

而这就是学术方面的成长。

尹芙·卡莉也不是一无所获。

原本她一向是比较好奇林灰这个此前几乎在文本摘要方面及及无名的人究竟是怎样在短时间做到弯道超车的。

毕竟涉及到语言模型的构建往往需要大量的时间。

但现在知道林灰搞的这个预处理之后。

尹芙·卡莉则感觉这个问题似乎不是太大问题。

按照林灰在论文补充内容提出的预训练机制的这个思路进行操作。

虽然引入预训练机制后仍然需要进行训练。

甚至看起来步骤要更繁琐了一些。

但尹芙·卡莉估计同等规模语料库下的训练

引入预训练机制的训练要比常规的至少能够节省50%的时间。

模型的训练引入预训练的处理方式会带来效率的提升。

这里面的道理通过学习方面的例子做类比很容易明白。

通常情况下，通过掌握知识的共性之后再攻克疑难显然效率上是比按部就班进行学习要高的。

同样的道理，机器学习的时候让机器掌握数据的共性之后再搞剩下的标注数据也会带来效率的提升。

林灰一度就是尹芙·卡莉眼中绝对意义上的天才。

在尹芙·卡莉看来天才的重点不在于“才能”，而在于“天分”

所有人似乎都知道的走出房间要找到门，却各种找不到门路。

而天才就是那个在众人茫然眼光之下信步走到门前并轻轻推开门的那个人。