按说，这个东西并不算什么高深的概念。

所谓的预训练倒是不难理解，无非就是对训练模型的数据进行粗处理而已。

但这玩意就比较难想到。

以前伊芙·卡莉在进行抽取式文本摘要这方面的调校时候就没用到预训练。

多数情况下都是直接进行训练的。

而没有应用预训练这一步骤。

按照林灰在论文中进行的补充。

预训练的通常做法一般是将大量低成本收集的训练数据放在一起。

而后以某一种或者某一类特定预训方法去学习这些训练数据其中的共性。

然后将其中的共性移植到特定任务的模型中。

再使用相关特定领域的少量标注数据进行更细致的调校。

完成这一过程之后

，今后用于实际应用的模型模型只需要从共性出发。

再去学习特定任务的特殊部分即可。

大概类似于对于部分方程先求通解再去找特解的过程。

听起来似乎蛮抽象的。

实际上也没多么高深。

涉及到机器学习这方面，无论多么高深的东西。

其本质上基本都是在模仿人。

在这种情况下，往往我们只要了解人是如何处理问题的。

就能理解机器学习处理问题的思路或者说是方式。

通常我们在学习东西的时候。

或许我们的初衷是想着是将所有想学的内容一次性学懂学精。

但因为学习时间有限、学业任务繁多或者其余各种各样的客观要素。

实际学习的时候是很难将所有的知识的学得一步到位的。

在这种情况下，一些擅于学习的人是怎么学习的呢？

这些人在进行学习时可能采用的做法是先将想学的知识的共性内容搞懂。

而后再花时间放在一些那些“疑难杂症”上。

虽然这种做法似乎是有点“偷懒”。

但人类一多半的智慧结晶都是因为偷懒才出现的。

不可否认这种看似偷懒的学习方式充满智慧。

至少从效率角度衡量的话，这种方式很值得称赞。

毕竟除了像医学等极其特殊的学科之外。

大部分领域所涉及到的知识，80%都是能够找出共性的。

在找到共性之后，再去解决另外的20%复杂知识。

这无疑是一种比较省力的思维。

在自然语言处理这个机器学习的典型方向引入预训练。

无疑等同于将部分优秀学生在学习中会用到的一种特殊的技巧“移植”过来。

这种思路无疑很是很巧妙。

思路固然很巧妙。

但正如路边李苦的道理一样。

为什么这种很巧妙的思路以前却没人尝试过呢？

伊芙·卡莉觉得未必是没人想过这方面。

但别人却无一例外的失败了。

涉及到知识的汲取，或许绝大多数人也知道先将80%有共性的知识搞定再搞定另外的20%可以省力。

但从过往的学业上看，伊芙·卡莉觉得她身边能够做到先将知识80%的共性找出来再去攻克疑难处的人少之又少。

甚至于除了伊芙·卡莉眼中的学霸之外根本没啥人能做到这一点。

伊芙·卡莉眼中的学霸又能有多少人呢？可以说是寥寥无几了。

也就是说这种先将80%有共性的知识搞定再搞定另外的20%这种很明智的做法实际很少有人应用。

明明是看起来更加容易的方式。