ChatGTP

Chat-GPT继续狂热，昨天OPEN AI发布了4.0版本，除了文字理解上的进步，视觉也有了很大的进步。理解上，律师考试超过90%的人，奥数竞赛更是秒杀众生。简单说，Chat-GPT4.0逐渐撕掉了Chat的标签，现在更多的是看图说话，理解思考，像一键生成网站什么的也不在话下。AI,力量带来划时代的生产力变革。有关4.0，我抄录了李志飞同学的见解，供大家学习参考：

快速的看了一下GPT4论文，几个观察：

1. 能力惊人：如果说GPT3系列模型给大家证明了AI能够在一个模型里做多个任务（也就是所谓通用），GPT4在很多任务上已经是人类水平（human-level），在很多专业和学术考试上超越90%的人类。各类中小学、大学和专业教育该如何应对？

2. 高效的炼丹：GPT4模型太大每次训练成本很高，但同时训练模型时很像炼丹需要做很多实验，如果这些实验都要在真实环境下跑一遍的话谁也承受不了。为此，OpenAI搞了所谓的predictable scaling，就是可以用万分之一的成本来预测各个实验的结果（loss和human eval)。这把大模型训练从碰运气的炼丹升级成了“半科学”的炼丹。

3. 众包评测：这次提供了一个open source的OpenAI evals，就是把系统性的帮系统找茬的任务众包给各位开发者和爱好者了，既让大家有参与感，又能让大家免费帮忙评估提高系统，一石二鸟。

5. 工程补漏：这次还发布了一个system card，大概意思是为了减轻一本正经的胡说八道问题，系统打了各种各样的补丁做预处理和后处理，后面还会开放代码把打补丁能力众包给大家。这标志着LLM终于从一个优雅简单的next token prediction任务进入了各种messy的工程hack了。

6. 多模态：万众瞩目的多模态其实跟市场上很多论文描述的多模态能力没有太多差别，主要区别是把文本模型的few-shot和逻辑链（COT）结合进来了，这也是在一个基础能力很好的文本LLM加多模态的好处（其它多模态模型感觉LLM都太弱）。

7. 有计划的出王炸：GPT4模型去年8月就炼出来了，但今天才发布，解释是花时间做了大量测试和各种查漏补缺。谷歌工程师傅估计又得熬夜跟了？

8. 不再open：论文里完全不讲模型参数和数据规模、也不讲任何技术原理，解释说是为了大家好，怕大家学会了怎么做GPT4用来作恶，个人完全不认同这种此地无银的做法。