OpenAI 创建 CriticGPT 来发现其 AI 聊天机器人中的错误

OpenAI 计划使用 CriticGPT 帮助人类训练师发现错误并改进 ChatGPT，但这个新工具有一些局限性。

OpenAI 通过使用 AI 模型来修复 AI 模型，完成了完整的循环——该公司推出了一款工具来发现 ChatGPT 代码输出中的错误。

这个新工具名为 CriticGPT，旨在帮助人类训练师改进 OpenAI 的 AI 模型，即 GPT-4 系列。这些训练师是“从人类反馈中强化学习”（RHLF）过程的一部分，这是一种奇特的说法，即他们对不同的 ChatGPT 响应进行相互评分以找到最佳结果。

OpenAI 表示将把 CriticGPT 整合到这一过程中，为这些培训师提供发现错误时的 AI 助手。该公司声称，该模型可以帮助人类培训师撰写更全面的评论。

OpenAI 在一篇博文中表示：“随着我们在推理和模型行为方面取得进展，ChatGPT 变得更加准确，其错误也变得更加微妙。”“这可能会让人工智能训练师难以发现错误，从而让支持 RLHF 的比较任务变得更加困难。”

OpenAI 声称其 CriticGPT 工具将能够根据早期测试提升人类训练师的工作效率。但重要的是，对公司关于其自身模型的说法要持保留态度。今年早些时候，AI Index 声称对大型语言模型的稳健评估“严重缺乏”，负责任的 AI 报告缺乏标准化。

OpenAI 指出了 CriticGPT 工具的一些局限性，其中之一是它是基于“相当短”的 ChatGPT 答案进行训练的。该公司还表示，这种生成式 AI 工具可能会产生幻觉，并导致人类训练师在看到这些幻觉后犯错。

OpenAI 表示：“CriticGPT 能提供的帮助有限：如果一项任务或反应极其复杂，即使是有模型帮助的专家也可能无法正确评估它。”

OpenAI 最近推迟了 ChatGPT 的“高级语音模式”升级，并表示需要更多时间来准备推出该功能并确保它能够“检测并拒绝某些内容”。

收听我们的新播客《未来人类：系列》，了解新兴技术趋势如何改变未来。立即收听 Spotify， 在 苹果 或者您获取播客的任何地方。