摘要

自然语言处理（NLP）大模型利用深度学习技术理解、解释和生成人类语言，通过三个主要部分：将文本转化为输入向量，通过注意力机制捕捉依赖关系，并生成输出向量来完成诸如机器翻译、文本摘要、情感分析和问答系统等特定语言任务。从统计方法解决基本问题，到神经网络改善维度和稀疏性问题，再到预训练模型实现无监督和迁移学习的创新，NLP在各阶段均实现了显著的技术进展，如今正式进入超10亿参数规模的大模型时代。中国NLP大模型的市场规模在2019年开始出现，智源的成立标志着行业进入了萌芽期。2020年9月，NLP大模型悟道3.0正式公开发布，开启了NLP大模型行业商业化落地的开端。2022年6月，GPT3.5的发布开始带动行业的高速发展，行业规模在2022年达到了668亿元。