前言
AI的4个大方向
1. chatGPT
现在chatgpt十分的火爆，已经成为了引爆AI技术的最前沿黑科技，chatgpt被众人追捧，相对应的，人们对它的误解也有很多。
误解1：chatgpt的答案来自一个事先预定好的箱子中,这其实并不是，如果你用同一个问题问他无数次，每一次答案都不完全一样
误解2：chatgpt的答案是搜索引擎的搜索结果，当然也不是，chatgpt并没有联网（当然，web browsing模式例外）
chatGPT真正做得事情，其实是文字接龙，比如给定一个词语你好，chatgpt会依照模型找到跟在你好后面最有可能出现的词语，接上去。
chatGPT的训练过程
可以看到，chatGPT的训练大致分为3个阶段。
第一个阶段是预训练阶段(pre-trained)，也称作自督导式学习(self-supervised Learning)阶段,得到的模型称作基石模型(Foundation Model)
自督导式学习顾名思义，机器自己对着资料进行学习，通常是互联网上的成吨的资料
第二个阶段是督导式学习，其实是对第一阶段得到的模型进行微调(finetune)，由人类老师对chatgpt的答案进行修正，给出回馈。
第三个阶段是增强式学习(Reinforcement Learning,RL)，由人类老师判断chatgpt给出的答案是好是坏，做出反馈。
2. chatGPT带来的学术界新问题
chatGPT爆火后，针对它的学术界新问题也随之出现，总共分为4个方向。
一、如何精确提出需求(prompt)，如何合理提出问题让chatgpt给出更合适的答案
二、如何修正错误(Neural Editing)，如何在不改变大模型内其他知识的情况下修正错误答案
三、侦测AI生成的物件，判断一段资料是否是AI生成的
四、泄密问题(Machine Unlearning),即让chatgpt忘记已经学习到的隐私信息
3. chatGPT的实用价值
可以用chatGPT生成一个冒险游戏
4. ChatGpt的炼成过程：社会化过程
一、学习文字接龙
学习文字接龙后，有很多答案都会出现。
二、人类老师引导文字接龙的方向
三、模仿人类老师的喜好
四、用增强式学习向模拟老师学习
