AI大模型

大模型认知基础

前言

ChatGPT-4的发布在各个领域引起了巨大的轰动，因为它在人工智能技术中达到了一个新的高度。从ChatGPT发布以来，国内外都迎来了新一轮大模型浪潮。那么，有科技小白会问：

GPT就是大模型吗？

ChatGPT和大模型之间是什么关系？

大模型现状发展如何？

AI 大模型

AI大模型是“人工智能预训练大模型”的简称，一种机器学习模型，包含了“预训练”和“大模型”两层含义，二者结合产生了一种新的人工智能模式。即模型在大规模数据集上完成了预训练后无需微调，或仅需要少量数据的微调，就能直接支撑各类应用。

大模型一般指1亿以上参数的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。大语言模型（Large Language Model，LLM）是针对语言的大模型。

2021年8月，李飞飞、Percy Liang等百来位学者联名发布了文章：On the Opportunities and Risks of Foundation Models[1]，提出“基础模型”(Foundation Models)的概念：基于自监督学习的模型在学习过程中会体现出来各个不同方面的能力，这些能力为下游的应用提供了动力和理论基础，称这些大模型为“基础模型”。简单理解就是智能化模型训练的底座。具体应用场景不同分为小模型和大模型。

AI大模型的发展历程

大模型也从2012年的萌芽期，发展到2016年的AI1.0时期，再到2022年ChatGPT带来的AI2.0时期，模型参数均较前一代有数量级的飞跃，如OpenAI最新发布的多模态预训练大模型GPT-4约有超过2000亿参数，谷歌最新推出“通才”大模型PaLM-E，拥全球已公开的最大规模的5620亿参数，能够表现出更优秀的性能和应用价值。目前，国内AI大模型研发和应用领域也正迎来高速发展热潮，科技部新一代人工智能发展研究中心也随即发布了《中国人工智能大模型地图研究报告》，各类 AI 大模型产品层出不穷，“千模大战”已经打响。

AI大模型可以做什么

AI大模型可以学习和处理更多的信息，比如图像、文字、声音等，也可以通过训练，完成各种复杂的任务。比如智能语音助手和图像识别软件都会用到AI大模型。

国内外有哪些大模型

国外公司

OpenAI：OpenAI是一家人工智能研究公司，拥有多个大型语言模型，包括GPT等。

Google：Google拥有很多大型深度学习模型，包括BERT、Transformer等。

Facebook：Facebook拥有很多大型深度学习模型，包括XLM-R、RoBERTa等。

Microsoft：Microsoft拥有很多大型深度学习模型，包括Turing-NLG、DialoGPT等。

特斯拉：成立X.AI公司，为了探索宇宙的奥秘

苹果：正式官宣加入大模型阵营，建立自己的框架来创建大语言模型“Ajax”,苹果还创建了一个聊天机器人服务“Apple GPT”，股价再次突破新高

国内公司

一面狂热，一面冷峻是最好的形容。在过去的几个月里，各大厂相继出招，先是3月16日，百度率先发布“文心一言”，期望对标ChatGPT；再到阿里巴巴旗下超大规模语言模型“通义千问”开放内测，万维和商汤科技分别发布大模型产品；创新工场CEO李开复、前搜狗CEO王小川、前京东AI掌门人周伯文、前美团联合创始人王慧文等行业大佬纷纷宣布下场，国产大模型赛道竞争激烈。

大模型的建造离不开综合算力资源、算法人才、数据积累及产品先发几大核心要素。事实也正是如此，只有大厂才有大量资金和人才发展算力、算法、数据，也最有机会率先落地大模型。