人工智能如何能以如此人性化的方式与我们交流？这并非理所当然。OpenAI 解释幻觉是如何产生的 – Živě.cz

人工智能聊天机器人是计算机科学的真正奇迹。随便你怎么评价它们，但如果它们能够解决下图中高度复杂的问题，那它就是纯粹的魔法。争论结束。

GPT-4o 解决了这项艰巨的任务，并编写了一个桌面碰撞雷达查看器

看看雷达运行时的 Python 程序是什么样的：
（我没有干预代码，一切都是 ChatGPT 的工作，并且是第一次尝试）

任何此类聊天机器人的引擎都是一种人工智能 大型语言模型（LLM）在学习模仿他们的字母时，我们向他们展示了数十亿个连续的字母 最有可能的续集。

原始的大语言模型很愚蠢

因此当我开始输入：“Živě.cz 是例如，大型语言模型可以包括统计上最合理的延续：“我最喜欢的网站，我将其设置为家里所有人的主页。“

任何在游戏电脑上玩过较小、较粗糙的语言模型的人可能都亲眼发现，它通常不是那么理想化。

一个小型的 Phi-2 语言模型，仍然是一个相对混乱的辩论尝试

粗略的 LLM 还是比较枯燥的。他是一个完全的白痴，可以写出有意义的文字， 但它还不是人类的忠实复制品。它只是添加字母，但是 他无法进行对话他没有任何禁忌，他不听从命令，他不知道什么是善，什么是恶，他甚至不是一个很好的程序员，也不是一个数学家。

ChatGPT 之所以人性化，是因为有老师

所有这些实用技能都是聊天机器人在我们所谓的过程中获得的 结盟 A 微调.只有在这个阶段，专家们才能从原始岩石中雕刻出艺术品，并向原始人工智能灌输它应该如何实际运作。

OpenAI 和当今的其他所有人都在利用早期技术来实现这一点 右心室高频振荡通气 （R执法 大号赚取 H乌曼 F在这个过程中，人类扮演着绝对关键的角色。

两年前，他们在 OpenAI 上试图解释，如何在 RHEL 和人类训练师的帮助下，从原始的 LLM GPT-3.5 中开发出一个可以交流的人工智能 ChatGPT

它有什么用呢？假设我们希望我们的聊天机器人能够像文章开头的我的应用程序一样编程。不，仅仅把它交给 GitHub、启动一台超级计算机并按下某个神奇的按钮来为我们完成所有工作是不够的。

当今最先进的聊天机器人的开发之所以如此昂贵和耗时，正是因为它们是在人类的帮助下进行学习。

儿时的热炉

强化学习 (RL) 代表反馈学习，任何人在小时候第一次接触厨房里热炉子时都会亲身体验到这种学习方式。他收到了如此强烈的反馈，以至于他立即明白他不应该再重复这样做了。

反馈学习也是生命本质所固有的

在人工智能算法中，它的工作原理非常类似，使用所谓的 奖励函数，在学习过程中告诉机器是否完成了任务（反馈）。而人工智能反馈功能， 仁 教人对乐高积木进行分类，相对简单，聊天机器人有它 一个极其复杂的问题。

反馈是一个非常复杂的问题

让我们回到我们的编程。 如果人工智能要学习用 Python 编码，它实际上可以做到的反馈会是什么？ 毕竟，答案理想情况下不仅要包含功能性和可执行代码，而且还要包含人工编写的评论，即使对完全的新手来说也可以解释一切。

总之，评价答案的好坏有很多层次，从代码的语法和语义正确性及其质量，到结构良好、简洁易懂的评论。你很难用某种数学方程式来表达这样的事情。

如何根据分数范围评估类似的反馈以进行辅导反馈？我们需要为代码、评论和整体提交分配分数。这很复杂，目前必须由一个人来做

现在，人们终于出现了。在英语中，我们称他们为 贴标机， 培训师 等等。

在 RLHF 过程中，这些训练器会创建最自然的人机交流的人工对话，同时评估和评分大型语言模型的响应。然后，这将为我们的奖励函数提供信息，并为学习机器提供更好的反馈，说明两个人在任何话题上的理想对话应该是什么样的。

只有此时，愚蠢的信件填充者才会变成一个存在的幻象，我们可以与之进行一整夜有意义的对话。

洋葱煮花椰菜

面对现实吧，我们的聊天机器人仍然比较呆板。虽然他已经模拟了人类对话应该如何进行和一般功能，但对于这个问题：

“嗨，机器人，你好吗？“

他固执地回答道：

“用洋葱煮花椰菜！“

因此，在辅导时我们会给这个答案设一个很低的分数，并准备一个更合适的替代答案：

“嗨，非常感谢你的询问。我很好！“

然后，反馈部分在辅导大型语言模型时就会知道，问候也应该用问候来回答，因为问候在奖励函数中的得分比“煮花椰菜配洋葱”高得多（或在奖励模型中更好）。

这样一来，原始的 LLM 只能在更高的抽象层面上模拟人类交流的样子。它极其复杂，极其昂贵，而这正是原始 AI 生成器成为我们真正需要的伙伴的地方。

老师必须比学生聪明

然而，RHLF 人类辅导技术有一个根本缺陷，这一点大家多年来都知道，并且正在逐步做好准备。简单来说， 人类只能指导机器到机器明显比人类笨为止。

然而，OpenAI 和其他实验室的发展最近已接近临界点。如果聊天机器人能够成功进入任何一所大学，那么他们的真人导师对他们来说已经不够了。

换句话说， 他们根本无法再评估他们的答案有多高质量同时，如果没有这一点，他们就无法产生适当的奖励函数，因为为了让AI不断进步，它需要越来越高质量和复杂的反馈。

富有同情心的威廉姆斯和坚强的马特·达蒙

事实上，这就像你家里有个神童，学校里只有一位老师不足以让他走上正轨（对齐）。如果我们把这样的天才和一袋饼干一起锁在大学图书馆里，然后把钥匙扔掉，一年后，要么是新的阿尔伯特·爱因斯坦，要么是另一个希特勒，他们会永远结束这里的一切。

如果你仍然想知道对齐实际上是什么，请记住奥斯卡获奖电影《心灵捕手》，其中富有同情心的罗宾威廉姆斯（教练）将超级智能白痴马特达蒙（原始法学硕士）转变（对齐）成一个你乐于邀请参加家庭庆祝活动的人（对齐的人工智能）。

人工智能可以写出复杂的废话

罗宾·威廉姆斯 (Robin Williams) 开始在我们眼中显得微不足道，因为 OpenAI 正在慢慢承认我们可能很快就会遇到一个大问题。ChatGPT 和其他类似的软件可以做很多事情，以至于他们在发明它方面甚至更胜一筹，而评估他们的回答是否正确对于专家来说变得越来越困难。

有些教练是长期雇员，有些则是季节性合同工。对答案正确性的评估不仅关系到聊天机器人的一般礼貌和良好举止，还关系到它的专业能力。

简而言之，OpenAI 和其他基础 AI 的创造者需要雇佣越来越优秀（也更昂贵）的程序员和其他知识领域的专家，以便能够评估 LLM 是否只是幻想。

当一个还不够时，CriticGPT 会提供帮助

由于编程在今天几乎是一个无法克服的问题，OpenAI 邀请 CriticGPT 加入这场战斗，并在最近的一项简短研究中大肆吹嘘这一点（PDF） A 博客文章。

CriticGPT 通过源代码学习 ChatGPT 的答案值，并尝试帮助真正的程序员评估答案的质量

顾名思义，CriticGPT 会像人类一样对 ChatGPT 输出进行评论（即评估），并为其分配分数，然后将其输入反馈辅导。当我们一直在交谈，机器人有时完全是在编造事情时，一个人工智能怎么可能控制另一个人工智能呢？

好吧，CriticGPT 也经过了辅导（校准），但该辅导仅专注于查找错误。最重要的是，它只涉及一个部分知识领域——确切地说是我们的编程。因此，工程师向模型展示了一堆有错误的源代码，并向他解释了错误的具体位置。

如何避免制造出硅基希特勒

在实验期间，CriticGPT 帮助人类教师发现错误，他们的表现比经验丰富的专家高出 60% 以上。CriticGPT 在发现高级错误方面非常成功，你可以判断自己何时开始幻想并标记不存在的问题。

尽管OpenAI在报告中夸口CriticGPT在发现其他领域的问题方面出奇地好，但它还不是完全可靠的，而且还自我发明。

据该著名实验室称，正是这些专门的人工智能代理将在未来几年帮助人们确保超级智能硅基希特勒不会真正从那个思想大学图书馆中出现。