如何与 Joon Sung Park 一起构建生成式 AI 代理

人工智能的思想，关于人工智能代理的未来。Foundation Capital

介绍“现实世界中的人工智能”

在接下来的几个月中，我将与领先的人工智能研究人员举办一系列深入对话，我们将探讨如何将最先进的模型应用于现实世界。 为了开始这个系列，我与 朴俊成，博士。 斯坦福大学计算机科学专业的学生，​​从事人机交互、NLP 和机器学习交叉领域的工作。 他最出名的是创建了由法学硕士驱动的代理，这些代理的沟通、行动和思考越来越像人类。 这些代理使用 LLM 作为中央推理引擎来做出决策、交互以及以其他方式导航虚拟世界。

Joon 开始攻读博士学位。 2020 年，GPT-3 发布后不久。 与其他“基础模型”（由 Joon 创造的术语）一起 斯坦福大学同行），GPT-3 表现出了卓越的生成、合成和分析自然语言的能力。 虽然传统的机器学习模型的职责范围很窄，但基础模型可以泛化到远远超出其原始训练范围的任务。 这一突破让 Joon 和他的同事们提出了这样的问题：“现在我们有了这些模型，我们要用它们做什么？ 他们拥有令人难以置信的能力，但他们能让我们做一些真正新颖和独特的事情吗？”

Joon 的研究试图通过将法学硕士应用于计算机科学领域的一个长期挑战来回答这个问题：创建能够真实模拟人类行为的人工智能代理。 这一雄心可以追溯到 20 世纪 50 年代人工智能的早期，当时该领域的创始人梦想以计算形式复制人类认知。 预见到当前围绕 AGI 的争论，他们的目标是赋予人工智能系统人类水平的智能，包括在开放环境中学习、解决问题和采取行动的能力。

Joon 研究的核心是，法学硕士接受过来自网络、数字化书籍和维基百科的大量数据的培训，对人类行为具有内在的理解。 在他的论文中，“生成代理：人类行为的交互式模拟，去年 4 月在 ArXiv 上发表的论文中，他和合著者在一个名为“Smallville”的虚拟城镇中部署了 25 名人工智能代理。 这些代理将 ChatGPT 与支持长期记忆、反思和规划的技术架构配对。 在两天的时间里，他们有机地相互接触，建立关系，分享信息，并对不可预见的事件做出反应。

Joon 作品的影响远远超出了《超人前传》的沙盒范围。 生成代理有望显着增强我们对相互关联的“比特和原子”世界的理解以及为该世界创建解决方案的能力。 通过高保真模拟，社会科学家获得了一个探索大规模群体动态复杂性的实验室。 政策制定者可以使用这些工具来模拟不同形式立法的影响，而建筑师可以利用它们来优化发展计划并预测潜在后果。 企业也将从中受益匪浅，因为他们可以部署生成代理来模拟客户交互、测试新产品并完善运营策略，而无需经历人类研究中的麻烦。

接下来，我将探讨从我们的谈话中收集到的核心见解。 要了解 Joon 的更多信息，请收听我们的完整对话 这里！

法学硕士代表了代理设计的新范式

从历史上看，代理设计一直依赖于基于规则的系统，例如有限状态机和行为树。 这些方法非常适合简单的任务，但难以应对现实世界交互的动态、不可预测的本质。 由于需要对每种可能的行为进行硬编码，因此这些代理无法响应无脚本的场景。 虽然基于学习的策略（包括强化学习）的进步使得智能体能够适应新信息，但它们的应用在很大程度上仅限于奖励函数明确定义的竞争环境。

法学硕士解决了许多这些限制。 谈到他的研究，Joon 强调：“法学硕士确实让这一切成为可能。 这确实是我们需要的基本技术堆栈。” 凭借对自然语言的广泛理解，法学硕士可以根据他们所提供和识别的上下文来预测序列中的下一个动作。 这消除了手动脚本的需要，有效地自动生成可信的代理行为。

正如 Joon 所说：“法学硕士的改变在于，它们为我们提供了一种单一成分，即微情境、微时刻……鉴于微时刻的描述，语言模型非常擅长预测下一个时刻。” ”。 与存储、检索和合成“记忆”（代理经验的综合日志）的架构相结合，法学硕士能够创建能够在不断变化的环境中协调一致地行动和响应的人工智能代理。

工具使用和模拟是Agent研发的两个重点

为了更好地定位他的研究，Joon 描述了代理领域的两个研发方向：“我们看到了一种分裂，一个社区现在对使用工具的代理非常感兴趣，而另一个社区对‘我们可以吗？模拟？’”

第一个阵营正在构建基于工具的代理，以自动化复杂的多步骤工作流程。 这些代理能够执行订购披萨、购买机票和创建幻灯片等任务，依靠法学硕士先进的 NLP 能力来执行远远超出基本脚本编写的功能。 这种方法源于早期的 AI 代理，例如 Clippy，这是一种友好的回形针，可以根据 Microsoft Word 用户过去与软件的交互来为他们提供帮助。 最近的一个例子是 OpenAI 的 GPT 商店，用户可以在其中共享该初创公司通用聊天机器人的定制版本。

Joon 的研究属于第二个阵营，专注于基于模拟的代理。 在这里，我们的目标是在虚拟世界中真实地复制人类行为和社会动态。 基于模拟的代理起源于游戏行业，可以应用于对复杂的人类交互建模被证明有益的任何领域，包括商业、社会科学和政策制定。

尽管今天的关注点有所不同，但 Joon 推测这些社区在未来将会融合。 在这两种情况下，法学硕士都充当基础架构层。

ChatGPT 并不是法学硕士的“杀手级应用”

我们已经看到初创公司和老牌公司都以极其有价值的方式应用法学硕士，包括个性化营销活动、提高销售效率和简化软件开发。 然而，Joon 质疑 ChatGPT 尽管很受欢迎，但是否真的是这些模型的“杀手级应用”。

他认为，杀手级应用程序不仅仅是吸引庞大的用户群：它们解锁并利用特定技术的新颖功能。 他以 Microsoft Excel 为例，指出它如何彻底改变了表格数据的操作方式，并由此将个人电脑转变为企业和消费者的必备工具。 就法学硕士而言，等效的应用程序将由其底层模型独特启用，并迎来人工智能实用和采用的新阶段。

根据这个定义，ChatGPT 可能无法晋级。 Joon 将这个聊天机器人描述为“一个相当简单的包装”，无法充分利用法学硕士的创建、推理和计划能力。 其空白文本框给用户带来了阐明其意图、提供所有相关上下文并评估模型响应的负担。 然后是“未知的未知”的问题：用户缺乏对法学硕士广阔的可能性空间的可见性。 法学硕士的“杀手级应用”应该帮助用户通过深思熟虑的产品设计来有意识地驾驭这个领域。 Joon 向构建者提出了一个挑战：“什么应用程序能够真正以更通用的方式增加价值？”

多模式模型有望显着提高代理绩效

多模态模型可以处理图像、音频、视频和文本，有望将代理交互的深度和细微差别提升到一个新的水平。 例如，多模式人工智能代理可以从语气、手势和面部表情等非语言线索中辨别用户的情绪。 它还可以直接作用于来自其环境的多媒体输入，而无需首先将其转换为文本：这一额外步骤可能会导致有价值的数据在翻译过程中丢失。

正如 Joon 对《超人前传》的解释：“我们使用我们的系统将视觉世界翻译成自然语言，然后将其提供给代理架构，代理架构使用我们的语言模型来处理它。 有了能够处理多模态输入的模型，我们实际上可能能够绕过这个阶段，直接从“这是你现在看到的视觉世界或空间”到“这是你的记忆，现在采取行动”它。’”

对于人工智能构建者来说，软边缘问题是更好的选择

Joon 为人工智能构建者提供了一个战略框架，以识别最有前途的代理应用程序。 它打开了硬边问题和软边问题之间的区别。

尖锐的问题是基于规则的，不能容忍任何错误。 他们的结果完全是二元的：要么成功，要么失败。 航班预订、金融交易和医疗诊断等任务都属于此类。 在这里，错误可能会造成严重后果。 相比之下，软边缘问题更加主观，并且允许一系列可接受的结果。 在这里，重点是适应性和逐步改进。 示例包括内容生成、个性化推荐和互动娱乐。 正如 Joon 所阐述的那样，“在这些问题上，我们可以不断地攀登，以变得更好。 在一定程度上，这项技术开始真正变得有用。”

回顾过去失败的人工智能代理（例如 Clippy），Joon 强调了在艰难的情况下应用这项技术的陷阱。 如果不深入了解用户的意图和目标，代理可能会被认为没有帮助，或者更糟糕的是，被认为非常烦人。 这导致了最初的兴奋循环，随后是用户的沮丧和开发人员的幻灭。 Joon 表示，虽然法学硕士可能会改变这种动态，但解决尖锐问题的创始人更有可能再次感到失望。 “我的预感是，至少在可预见的未来，我们可能会看到非常相似的模式出现，”他指出。

对于企业家来说，软边问题空间代表了一条更安全的道路。 在这里，交付产品的标准不是完美，而是它提供的附加值：一个更容易实现的标准，允许构建者与用户一起迭代他们的产品。 这是 Joon 和他的合作者从事模拟工作的核心动机。 “模拟是软边缘问题空间的主要例子，因为模拟只需‘足够好’就可以开始发挥作用，”他解释道。 其他“足够好”的用例包括营销、销售、客户服务和产品设计。 在这些领域中，存在多种可行的解决方案是一个特性，而不是一个错误。 这种灵活性为创始人创造了更多的机会来使他们的产品脱颖而出。

代理商需要解决用户的真实需求

法学硕士支持的代理的成功不仅仅取决于其基础模型的复杂性。 正如 Joon 所说：“我感到好奇的一件事不是技术部分，而是互动，我认为我们很多人都没有考虑过这一点。 这些代理将如何使用？ 以什么方式？ […] 这就是过去代理商失败的地方。 确实有很酷的技术，但我们没有认真地问自己，这是人们真正需要的东西吗？ 使用这些代理的成本效益分析以及学习如何很好地使用它们对广大用户群来说真的有意义吗？”

人工智能构建者不应以技术为主导，而应优先考虑理解和解决用户的真实需求，重点关注代理可以提供的众所周知的“10 倍更好”的体验。 正如史蒂夫·乔布斯（Steve Jobs）的名言：从用户体验开始，然后倒退到技术。

基础性、代表性和可扩展性都是尚未解决的挑战

最终，人工智能模拟的目标是准确地模拟现实世界的场景，而不是虚构的场景。 正如 Joon 所阐述的：“我认为，如果我们能够使这些模拟紧密地模拟我们实际的人类社区，那将会更有趣。 所以这不仅是虚构的，而且是有根据的。 从我们的角度来看，这将开辟一组全新的应用空间以及研究影响。”

为了实现这一目标，研究人员面临着几个障碍。 许多第三方人工智能模型都有安全措施，限制它们可以表达的人类行为的范围。 例如，ChatGPT 拒绝争论、回报感情和表达个人信仰。 Joon 指出，缺乏这些限制的开源模型可能是一种潜在的解决方法，但当模型更容易“脱轨”时，也会出现无数风险，从有毒内容到有针对性的说服。

此外，今天的生成模型反映了特定的人群：“WEIRD”（西方、受过教育、工业化、富有和民主）用户。 “现在，ChatGPT 确实是来自网络的聚合个性。 如果你在这些聊天机器人中寻找少数派的声音，他们可能会陷入困境，”Joon 转述道。 开发代表更广泛的人类层面的模型对于创建不仅更具包容性而且更准确的模拟至关重要。

另一个挑战在于扩展模拟。 Joon 和他的同事们的《超人前传》实验花费了数千美元的代币积分，尽管只有 25 名特工，而且只持续了两天。 更具成本效益的策略可能涉及并行代理和创建专门用于模拟的模型。 在这方面，Joon 充满希望：“总的来说，随着基础模型的进步，我们相信代理的性能将会提高。”

使用法学硕士构建时，经典产品原则仍然适用

在思考人工智能的未来时，Joon 经常回顾该领域的创立时刻。 正如他分享的那样：“我从具有影响力且经受时间考验的见解中获得启发。 […]

我个人认为所有伟大的想法都是永恒的。 当前的炒作周期已经结束，并不意味着它们就不那么有趣或不那么有意义了。” 他引用人工智能的两位早期先驱艾伦·纽厄尔（Allen Newell）和赫伯特·西蒙（Herbert Simon）作为持久的影响力。

这种观点对于专注于生成人工智能的创始人尤其重要。 对于尖端基础模型的所有进步，产品开发的经过时间考验的原则 – 选择允许迭代收益的问题，将用户反馈循环融入产品设计，理解和解决实际需求，以及精心设计可提供有形价值的交互对用户来说——没有改变。 与法学硕士一起构建涉及在利用技术的新颖功能和遵守运输粘性产品的最佳实践之间找到适当的平衡。

请继续关注本系列的下一次对话，我们将进一步深入探讨人工智能驱动的代理领域及其广泛的应用程序。

关注我 推特 或者 领英。

Joanne 是 Foundation Capital 的普通合伙人，投资于早期应用人工智能和 B2B 业务。 她在加拿大和北卡罗来纳州长大，并以湾区为家。

阅读更多阅读更少
1708484918
2024-02-21 02:40:49
#如何与 #Joon #Sung #Park #一起构建生成式 #代理