ChatGTP

写论文的时候，很多老师都会强调事实与观点的区别，论文中要写事实，而不是观点。

事实与观点的定义大家可以看视频了解哦。

我尝试通过事实与观点这两个词，从不同的角度去解释一下为什么大模型的效果可以这么好

1. 在AI界有个名词，叫压缩比。顾名思义，大模型做的事情就是将喂给他的资料，不断的压缩之后存下来，比如一首诗是28个字，压缩成1个数字存下来，记住这个数字，就相当于记住了这首诗。而评价大模型好坏的重要维度之一就是压缩比，压缩比越高，模型效果越好。

2. 幻觉。 有的时候，大模型会胡说八道，比如我们问为什么金刚可以在太阳上生存？大模型可能会一本正经的胡说八道，金刚是一种神奇的物种，什么不怕火不怕高温巴拉巴拉的，这就是幻觉的体现。

3. 涌现。 这个词有很专业的解释，我们可以简单地理解，比如多个大模型考数学，同样的压缩比，学的同样内容的知识，1G大小，2G大小…20G大小的模型随着内存变大，分数从10分变到了50分。但是当模型大小增大到22G，出现了涌现能力，他的分数可以一下子提高到了80分。就像突然觉醒了

而ChatGPT为什么效果这么好，就是因为他的压缩比是领先于其他大模型的。

2. 我个人尝试从另外一个角度去思考，大模型为什么可以会让大家觉得他的效果很好呢？

首先，我们可以认为大模型所有的输出都是他的观点，因为大模型并不知道给他的训练资料是事实还是观点，他只能利用自己的压缩能力去记住。

其次， 我认为大模型的能力好坏取决于他输出的观点与我们的观点有多少的相似性，取决于他输出的观点有多少的比例是事实！！！

前者体现在涌现上，写文章，写评论，总结全文的涌现能力。 这也是我们现在用大模型做的最多的事情， 它能快速输出我们内心所希望输出的内容，成为我们心中的事实。所以大家会觉得很惊艳，很满意。 就好像事实与观点的那个临界点被跨过去了

后者就体现在大模型压缩比与幻觉上。 大模型压缩训练数据之后，可以从中提炼出事实。 压缩比越高， 提炼的事实越多，即产生的幻觉的几率就越低， 这也是我们认为大模型的能力越强的主观判断之一。