![]()
据说需要耗费千万美元的资金才能训练一个gpt3
gpt-3使用的数据集容量达到了45TB，
gpt-3具有1750亿个参数，
一个gpt-3 模型可能需要要 700G的硬盘空间来存储。
近期大量研究工作表明，通过对大量文本进行预训练，并且针对特定任务进行微调，模型的性能可以在许多 NLP 任务以及基准测试中获得显著提升。
![]()
如上图所示，x轴的参数，参数数量级越大，准确率越高……
该研究使用了和 GPT-2 相同的模型和架构，包括改进的初始设置、预归一化和 reversible tokenization。
区别在于 GPT-3 在 transformer 的各层上都使用了交替密集和局部带状稀疏的注意力模式，类似于 Sparse Transformer 。
- Sparse Transformer
理解自然语言需要注意最相关的信息。例如，在阅读过程中，人们倾向于把注意力集中在最相关的部分来寻找问题的答案。然而，如果不相关的片段对阅读理解产生负面影响，就会阻碍理解的过程，而理解过程需要有效的注意力。这一原理同样适用于自然语言的计算系统。注意力一直是自然语言理解和自然语言生成模型的重要组成部分。因此，Sparse Transformer只关注k个贡献最大的状态。通过显式选择，只关注少数几个元素，与传统的注意方法相比，对于与查询不高度相关的值将被归0。
![]()
如上图所示，Sparse Transformer会把相关的信息处理成橙色部分，而蓝色的是传统注意力的做法（没有top k的概念）。原理图如下所示：![]()
学习了45TB的文本数据，掌握的文本规律足以超越目前所有的预训练模型。
但是，我在想一个问题，用足够大容量的模型，里面肯定学习到了很多冗余的规律。个人认为，算法的意义在于用足够小的参数，学习到更为普遍的规律。但在实际解决问题上，确实，简单粗暴地堆量，自然就可以解决很多问题，这是量变引起质变的规律。