目前主流观点认为，要完整完成一个任务，实际上需要经过很多子步骤

目前主流观点认为，要完整完成一个任务，实际上需要经过很多子步骤。当模型大小不足时，大语言模型无法理解或执行所有步骤，导致最终结果不正确，达到千亿级参数时，其解决问题的全链路能力已经足够。人们以最终结果的正误作为评判标准，导致认为是一种“涌现”。

在“涌现”问题上，人与猩猩的比喻很有趣。人类的大脑容量比猩猩大3倍，这种差异使得人类能够进行更复杂的思考、沟通和创造。两者的结构没有显著差异，这不也是“涌现”吗？

GPT-3.5正是千亿模型，参数达到了1750亿。相较于GPT-3，GPT-3.5主要针对模型参数进行了微调，使其在问答时更符合人类的习惯。据悉，GPT-4的模型参数量甚至达到了GPT-3.5的五倍之多，这也解释了为何GPT-4表现得如此聪明（体验过的人应该都能理解）。下面是GPT模型演进历史：

二、GPT的局限性

综上，GPT模型具有明显的、突破性的优势。典型的优势包括：①强大的语言理解能力；②极为广泛的知识储备；③学习能力与推理能力等等。这些能力让人们感觉人工智能真正拥有了“脑子”，想象着使用GPT解决一切问题。

然而，若真的要深入应用该技术，有必要了解其局限性，以便在实际应用中取长补短。主要总结六大局限：

1. 逻辑不透明

GPT模型的回答本质上是概率。传统的软件开发中，接口的输入和输出参数都是确定的，而在给定输入参数（即提示词）的情况下，GPT的回复却有一定随机性。

当大家将ChatGPT作为聊天工具使用时，这种不精确可以是用户的谈资；当涉及到商业化软件应用时，设计时就需要特别注意降低不确定性，在大部分产品场景下，用户都很重视确定性。

2. 短期记忆差

得益于自注意力机制，ChatGPT具备了多轮对话能力。然而，它的记忆长度相当有限，GPT-3.5模型仅支持向前追溯4096个tokens用于回复的参考。

更糟糕的是，这4096个tokens还包括ChatGPT之前回复用户的部分！这使得其捉襟见肘的记忆更加难堪，堪称电子金鱼。好在GPT-4已经将上下文token上限扩展至3.2万个，一定程度上缓解了这个问题。