GPT、LLM领域大量的媒体分析、行研报告、产品demo、社群活动

从2023年农历春节开工到现在，身边每天都充斥着对GPT、LLM领域大量的媒体分析、行研报告、产品demo、社群活动。热度要比过去元宇宙、区块链这些技术概念更加空前，可见他对底层技术的变革是如此的歇斯底里。

作为一枚数据产品经理，苦研数周，输出倒逼，简单总结了一些自己的学习心得。

前言

1. 用大白话让非技术人员了解这一技术的关键点，如想深度探索，可基于此搜索学习。
2. 让互联网行业产品、运营等人员在工作中想要应用这一技术时有基本的框架思维。
3. 作者非AI技术出身，有表述不准的地方，欢迎指正。

一、ChatGPT与GPT通识

ChatGPT是一个聊天应用。一个输入框，输入你想问他的任何问题，他会给你一个答案，并且这个答案看起来是经过思考、讲究语法并且正确的。他理解你的语言，并能用你的语言给你答案。

而这背后，就是GPT这个大模型在发挥作用（Generative Pre-trained Transformer），翻译为“基于Transformer的生成式预训练模型”（引号里的中文值得逐字理解），通俗点讲，这个模型的目的就是理解你输入的文字，然后计算答案，然后用你能懂的语言进行呈现。

至于什么是Transformer、它为什么可以做到，这背后的技术点，我们下文展开。

对于行业小白，我们先科普几个这个行业关键词：

• NLP：Natural Language Processing，自然语言处理。
• AGI：General Artificial Intelligence，通用人工智能。
• LLM：Large Language Modle，大语言模型。
• AIGC：AI-generated content，互联网人应该都听过UGC、PGC，没错这个就是AIGC，AI生成内容。

连起来造句就是：要想让AI达到通用人工智能（AGI）的程度，自然语言（NLP）领域的大语言模型（LLM）能力是非常重要的，大语言模型（LLM）领域有一个重要的应用就是AIGC。

二、GPT大模型背后的关键技术点

如果你想要研究清楚GPT背后的技术点以及发展脉络，可以先从以下几个概念入手。

1. Transformer

你可以理解为他是一个特征提取器，中文语义：转换器，他的目的就是把你给他的文本数据进行理解学习，形成他认为的人类语法。有资料说明，光GPT3就用了45TB的文本数据，涵盖中文、英文等多国语言，模型生成了超1.7万亿的参数。就像一个一两岁的孩子，没背单词、没背语法、没学拼音也会说话一样。这中间的实现就是这个模型在起作用。所以也堪称暴力美学。

用技术术语说，Transformer的核心是自注意力机制（self-attention），它可以让模型在处理序列数据时，将不同位置的信息加权组合起来，从而更好地理解输入序列的结构和含义。这其中的核心手段是编码和解码，即Encoder和Decoder。

Encoder把输入文本编码成一系列向量，Decoder则将这些向量逐一解码成输出文本。在每一个Encoder和Decoder中，都有多个自注意力层和前馈神经网络层组成。这些层通过不断传递信息和调整参数，最终将输入转化为一个意义准确的输出。

2. MLM（Masked Language Modeling）

MLM（掩码语言模型）是 GPT 预训练中的一个关键技术点，其目的是通过对输入序列中的部分单词进行遮盖，使模型在预测下一个单词时能够学习到上下文的信息。简单但很巧妙。