大模型原理· 第 2 / 4 页
（4）参数规模庞大
大模型最显著的特点就是其庞大的参数规模。巨大的参数规模使大模型具有强大的表达能力和学习能力。这些模型通常包含数千万、数亿甚至更多的参数，参数在训练过程中被优化以捕捉数据中的复杂模式和关系。
（5）更强的泛化能力
大模型通常具有更强大的学习能力和泛化能力，能够在各种任务上表现出色。这是因为大模型可以学习更多的特征和规律，以更好地预测未来数据。
（6）深度学习架构
大模型通常采用深度神经网络，具有多个层次的结构。其中，以 Transformer 为代表的自注意力机制在大模型中得到了广泛应用，它使得大模型能够处理长距离的依赖关系。随着深度学习技术的不断发展，大模型的性能和规模也在不断提升。
大模型是 “大数据 + 大算力 + 强算法” 结合的产物，凝聚大数据内在精华的 “隐式知识库”。包含 “预训练” 和 “大模型” 两层含义，即模型在大规模数据集上完成预训练后无需微调，或仅需要少量数据的微调，就能直接支撑各类应用。
大模型的发展经历了萌芽期、沉淀期和爆发期三个阶段。在萌芽期，以 CNN 为代表的传统神经网络模型阶段，为自然语言生成、计算机视觉等领域的深入研究奠定了基础。在沉淀期，以 Transformer 为代表的全新神经网络模型阶段，奠定了大模型预训练算法架构的基础。在爆发期，以 GPT 为代表的预训练大模型阶段，大数据、大算力和大算法完美结合，大幅提升了大模型的预训练和生成能力以及多模态多场景应用能力。