搞清楚ChatGPT的工作原理，我们需要先了解ChatGPT的整个研发训练历程。
ChatGPT的研发时间可以追溯到2019年,当时OpenAI发布了GPT-2。在此基础上,
OpenAI不断进行改进和迭代，最终在2022年11月推出了ChatGPT。
那这3年间，ChatGPT经过了一个什么样的训练过程呢?
1.数据收集与处理:
在ChatGPT的训练过程中，需要大量的语言数据。这些数据可以来源于网络上的各种文
本，例如维基百科、新闻、博客等。
比如,我想训练ChatGPT用李白风格写出一首诗歌。
第一步就是找大量李白的诗歌给ChatGPT进行学习,这些数据可以来自于古代文集、诗词
选、互联网等渠道。
接着呢，因为这些诗歌的数据来源参差不齐,这些文本通常包含着很多无用的信息和错误
的数据,为了确保训练的数据是干净、可用的，就需要进行数据预处理，把这些没用的信
息去除掉，然后分解文本。
比如”飞流直下三千尺”这句话，可能就会被分解成“飞流”、“直”、 “下”、 “三千”、“尺”， 分解
完之后,等待下一步的操作。
这一步就是数据的收集与处理。
2.模型构建与训练:
数据处理完之后，ChatGPT会构建一个适合诗歌生成的模型 ,然后把这些大量的李白诗歌数
据输给模型,让模型自监督学习李白的诗歌风格和用词习惯。
这个自监督学习的过程就是模型的训练,什么是自监督学习呢?
比如还是“飞流直下三千尺”这句话，模型首先提取第一个词“ 飞流”，然后不去提取下一个
词，而是直接预测下一个词。
比如他第一次预测的是“ 飞流后面跟着的是‘瀑布”，然后用预测的结果和真实的结果去对
比，发现不对,然后调整模型,再预测再调整模型，直到预测对为止，就用这种方式来预
测整句话甚至是整首诗。
这么做的好处是什么呢?
就是经过了几十万几百万次的训练，他可以迅速掌握李白的诗歌风格和用词习惯。
ChatGPT技术的本质是算法，他就使用这种训练方式，不断调整自己的预测模型，这样你再
给他一个字,他就可以根据李白的风格去预测下一个字最大概率是什么。
所以我们看到的ChatGPT生成的一大段文字,其实都是用这种方式生成的,不断地通过上一
个字根据指定的模型来预测下一个字,然后形成一段长文章。
这个就是ChatGPT的工作原理。
当然,这种训练方式最大的缺点就是需要极大的算力，你看一句话都可能要经过几十万几
百万次训练，更何况人类社会这么多的数据了。
知道ChatGPT的工作原理对我们有什么实际用途呢?
用途很大，因为我们可以根据ChatGPT的工作原理来训练一个我们专属的模型,比如通过你
的训练, ChatGPT可以用你的风格生成一篇文章、一个策划案等等,这个步骤叫做ChatGPT
的调教,这个作为课程的核心内容，放在后面详细讲。
举个通俗易懂的例子，ChatGPT就相当于安卓系统,提供底层逻辑,而我们就是小米、
vivo、一加这些厂商,通过对安卓系统进行独有的优化,来形成我们自己的系统,这个就
是调教ChatGPT的作用。
暂无评论内容