中国蚂蚁金服、百度、腾讯与美国公司 OpenAI、Nvidia 合作发布首个全球生成人工智能标准
中国蚂蚁集团、百度和腾讯控股与OpenAI、微软等全球领先科技公司联手 英伟达 发布关于生成人工智能（GenAI）和大语言模型（LLM）的两项国际标准。 据会议声明称，周二，两家公司在瑞士日内瓦举行的联合国科学技术会议的一场边会上发布了“生成式人工智能应用安全测试和验证标准”和“大语言模型安全测试方法”组织者是非营利性的世界数字技术学院 (WDTA)。 它们是第一个专门涵盖 GenAI 和 LLM 的全球标准，这些技术是日益流行的人工智能服务背后的技术，例如由 OpenAI 技术支持的 OpenAI 的 ChatGPT 和微软的 Copilot。 中国搜索引擎运营商百度也推出了 自己的人工智能聊天机器人 Ernie Bot， 尽管 腾讯 和 蚂蚁 已经推出了各自的法学硕士。 蚂蚁金服是阿里巴巴集团控股公司的附属公司，也是《南华早报》的所有者。 蚂蚁集团是参与制定世界上第一个专门管理生成人工智能的国际标准的大型科技公司之一。 照片：路透社 新的 GenAI 标准由 Nvidia、Facebook 所有者 Meta Platforms 等公司的研究人员编写，并由亚马逊、谷歌、微软、蚂蚁金服、百度和腾讯等公司审核。 根据 WDTA 网站上发布的文档副本，它提供了一个用于测试和验证 GenAI 应用程序安全性的框架。 根据官方副本，LLM 指南由 17 名 Ant 员工撰写，并由 Nvidia、微软、Meta 等公司审核，概述了测试 LLM 抵御黑客攻击的多种攻击方法 WDTA于去年4月在联合国框架下成立，旨在“加快建立数字领域的规范和标准”。 随着 GenAI […]
生成式人工智能成为科技服务公司的战略重点专家观点
Nitin Bhatt，安永印度公司技术部门负责人 生成人工智能（GenAI）已迅速成为技术服务公司的首要战略重点。 安永最近的一项研究显示，55% 的印度科技服务公司的 CXO 表示 GenAI 将对他们的业务产生重大影响； 15% 的人表示其影响是存在的。 虽然高管们认为该技术为收入增长、降低成本和提高生产力提供了新的机会，但只有三分之一的受访者将他们的组织从 GenAI 中受益的准备程度评为“高”。 采用方面的挑战包括用例不明确、将试点项目转变为生产级项目，以及由于对准确性、错误信息、偏见、安全和隐私的担忧，许多客户不愿意注册。 这导致一些权威专家认为 GenAI 的潜力可能被夸大了，并可能很快将利益相关者推入幻灭的低谷。 然而，这种说法是没有根据的。 与之前的颠覆性技术一样，GenAI 只有通过实验和迭代才能发挥其真正潜力。 然而，即使技术不断发展和成熟，技术服务公司也可以专注于关键机会领域，这些领域将成为利用 GenAI 长期价值的基石。 数据治理——良好的治理可以增强数据的可用性、可靠性、安全性和法规遵从性。 它还注重隐私保护，因为个人身份信息和知识产权可以通过训练数据或通过用户输入或提示生成的文本进入大型语言模型（LLM）。 管理良好的训练数据还可以实现可重复性、可解释性以及从 GenAI 用例中提取更大的价值。 不幸的是，只有不到 20% 的高管信任他们的企业数据，只有不到 10% 的公司拥有大规模部署人工智能所需的数据和云成熟度。 这些为技术服务公司提供了重要机遇。 专业模型——寻求利用 GenAI 解决特定行业挑战的组织正在评估在其内部数据集上训练和微调的开源模型的成本和收益。 他们经常需要帮助来构建提供上下文相关性的私人法学硕士，或者构建成本更低并为狭义定义的定制解决方案生成可比质量内容的小型语言模型。 例如，一家技术服务提供商正在协助一家全球银行利用 GenAI 通过在“了解你的客户”流程中及早检测深度伪造品来预防欺诈。 此外，一些科技公司正在构建专有模型，并对其知识存储库中的特定领域数据进行训练。 他们还参与讨论以创建大型行动模型，将法学硕士转变为能够完成任务的可操作工具，包括在无需人工干预的情况下处理变化。 这些以及其他以知识产权为主导的解决方案、加速器和资产可以由科技公司货币化。 交付效率 – GenAI 可以显着加速软件开发生命周期，特别是在开发、测试和部署阶段。 早期试点表明，产生的价值可能非常巨大：20-50% 用于应用程序开发和支持，20-30% 用于基础设施管理服务，40-50% 用于应用程序现代化和云迁移。 除了帮助组织事半功倍之外，GenAI 还可以通过腾出时间进行创造力和创新来增强人类潜力。 […]
Apple AI：MM1 语言模型有哪些优势
最近，关于苹果人工智能 (AI) 计划的谣言和悬而未决的问题一样多。 在内部开发者大会 WWDC 等公开场合，苹果老板蒂姆·库克更喜欢使用技术术语“机器学习”，而不是人工智能。 但现在变得更加具体：上周 有报道称，苹果可能有兴趣为自己的应用程序授权谷歌的大型 Gemini 语言模型。 苹果还提供了 在一篇研究论文中 专门开发的语言模型系列，未来可用于 iPhone 和 Siri 等应用程序。 广告 这个名为MM1的模型如此有趣，不仅因为它表明苹果正在积极进行AI研究，还因为它的尺寸和结构相对较小。 MM1 是一种所谓的多模式模型，它既能理解文本查询，又能理解视觉提示。 尽管规模小但“性能有竞争力” 这 MM1 论文 主要涉及研究人员在开发模型时获得的发现。 例如，用于预训练的图像的分辨率对后续性能的影响最大。 或者说训练数据的正确组成很重要。 对于 MM1，Apple 正在尝试不同的图像-文本对混合、混合图像-文本数据（交错）和纯文本。 最终，团队将模型扩展至 3、7 和 300 亿个参数。 据称，与类似的多模式模型相比，30B 模型“在所有类别中都实现了有竞争力的表现”。 MM1 的模型大小为 300 亿个参数，比其他领先公司的大型语言模型要小：Meta 的 LLaMA-2 有 700 亿个参数，德国公司 Aleph Alpha 的 Luminous 模型 扩大到3000亿，对于 GPT4，假设有超过一万亿个参数。 然而，独立观察家认为 […]
大型语言模型使用一种极其简单的机制来检索一些存储的知识 | 麻省理工学院新闻
大型语言模型（例如为 ChatGPT 等流行人工智能聊天机器人提供支持的语言模型）非常复杂。 尽管这些模型在许多领域被用作工具，例如客户支持、代码生成和语言翻译，但科学家们仍然没有完全掌握它们的工作原理。 为了更好地了解幕后发生的事情，麻省理工学院和其他地方的研究人员研究了这些巨大的机器学习模型检索存储的知识时的工作机制。 他们发现了一个令人惊讶的结果：大型语言模型（LLM）通常使用非常简单的线性函数来恢复和解码存储的事实。 此外，该模型对相似类型的事实使用相同的解码函数。 线性函数是只有两个变量且没有指数的方程，捕获两个变量之间简单的直线关系。 研究人员表明，通过识别不同事实的线性函数，他们可以探索模型以了解它对新主题的了解，以及知识存储在模型中的位置。 研究人员使用他们开发的技术来估计这些简单的函数，发现即使模型错误地回答了提示，它通常也存储了正确的信息。 将来，科学家可以使用这种方法来查找并纠正模型内部的错误，这可以减少模型有时给出错误或无意义答案的倾向。 “尽管这些模型非常复杂，是基于大量数据进行训练的非线性函数，并且很难理解，但有时它们内部有非常简单的机制。 这就是一个例子，”电气工程和计算机科学 (EECS) 研究生、论文共同主要作者 Evan Hernandez 说道。 详细介绍这些发现的论文。 埃尔南德斯与东北大学计算机科学研究生 Arnab Sharma 共同撰写了这篇论文。 他的导师 Jacob Andreas，EECS 副教授，计算机科学与人工智能实验室 (CSAIL) 成员； 资深作者 David Bau，东北大学计算机科学助理教授； 以及麻省理工学院、哈佛大学和以色列理工学院的其他人。 该研究将在国际学习表征会议上公布。 寻找事实 大多数大型语言模型，也称为转换器模型，是 神经网络。 神经网络松散地基于人脑，包含数十亿个互连的节点或神经元，这些节点或神经元被分为许多层，并对数据进行编码和处理。 存储在变压器中的许多知识可以表示为连接主体和客体的关系。 例如，“迈尔斯·戴维斯演奏小号”是将主语迈尔斯·戴维斯与客体小号联系起来的关系。 随着变压器获得更多知识，它会跨多个层存储有关某个主题的更多事实。 如果用户询问该主题，模型必须解码最相关的事实以响应查询。 如果有人通过说“迈尔斯·戴维斯演奏。”来提示变压器。 。 ”。 模型应该回答“喇叭”而不是“伊利诺伊州”（迈尔斯·戴维斯出生的州）。 “在网络计算的某个地方，必须有一种机制来寻找迈尔斯·戴维斯吹小号的事实，然后提取该信息并帮助生成下一个单词。 我们想了解这种机制是什么，”埃尔南德斯说。 研究人员进行了一系列实验来探索法学硕士，结果发现，尽管它们极其复杂，但这些模型使用简单的线性函数来解码关系信息。 每个函数都特定于正在检索的事实类型。 例如，变压器每次想要输出一个人演奏的乐器时都会使用一个解码函数，而每次想要输出一个人出生的状态时都会使用不同的函数。 研究人员开发了一种方法来估计这些简单函数，然后计算 47 种不同关系的函数，例如“一个国家的首都”和“乐队的主唱”。 虽然可能存在无数种可能的关系，但研究人员选择研究这个特定的子集，因为它们代表了可以用这种方式编写的事实类型。 […]
Blackwell架构将在2024年底加速人工智能产品的发展
NVIDIA 最新的 GPU 平台是 Blackwell (图A），包括 AWS、微软和谷歌在内的公司计划将其用于生成式 AI 和其他现代计算任务，NVIDIA 首席执行官黄仁勋在 3 月 18 日于加利福尼亚州圣何塞举行的 NVIDIA GTC 会议上发表主题演讲时宣布。 图A NVIDIA Blackwell 架构。 图片：NVIDIA 基于 Blackwell 的产品将于 2024 年底从 NVIDIA 全球合作伙伴处进入市场。黄仁勋宣布了 NVIDIA 及其合作伙伴提供的一系列附加技术和服务，谈到 生成式人工智能 只是加速计算的一个方面。 “当你变得加速时，你的基础设施就是 CUDA GPU，”黄说，他指的是 CUDA、NVIDIA 的并行计算平台和编程模型。 “当这种情况发生时，它的基础设施与生成人工智能相同。” Blackwell 支持大型语言模型训练和推理 黄说，Blackwell GPU 平台包含两个芯片，通过每秒 10 TB 的芯片间互连连接，这意味着每一侧都可以基本上像“两个芯片认为它是一个芯片”一样工作。 它拥有2080亿个晶体管，采用NVIDIA 2080亿个4NP台积电工艺制造。 它拥有 8 TB/S 内存带宽和 20 pentaFLOPS […]
一种让人工智能聊天机器人全天交谈而不崩溃的新方法 | 麻省理工学院新闻
当人类与人工智能对话涉及多轮连续对话时，驱动 ChatGPT 等聊天机器人的强大大型语言机器学习模型有时会开始崩溃，导致机器人的性能迅速恶化。 来自麻省理工学院和其他地方的一组研究人员查明了这个问题的一个令人惊讶的原因，并开发了一种简单的解决方案，使聊天机器人能够保持不间断的对话，而不会崩溃或减慢速度。 他们的方法涉及对许多大型语言模型核心的键值缓存（就像对话内存）进行调整。 在某些方法中，当该高速缓存需要保存比其容量更多的信息时，第一批数据就会被删除。 这可能会导致模型失败。 通过确保这些前几个数据点保留在内存中，研究人员的方法允许聊天机器人无论对话持续多长时间都可以继续聊天。 该方法称为 StreamingLLM，即使对话长度超过 400 万个单词，模型也能保持高效。 与另一种通过不断重新计算过去对话的一部分来避免崩溃的方法相比，StreamingLLM 的执行速度快了 22 倍以上。 这可以让聊天机器人在整个工作日进行长时间对话，而无需不断重新启动，从而使高效的人工智能助手能够执行文案、编辑或生成代码等任务。 “现在，通过这种方法，我们可以持久部署这些大型语言模型。 通过制作一个我们可以随时与之聊天的聊天机器人，并且它可以随时根据我们最近的对话做出回应，我们可以在一些新应用中使用这些聊天机器人。”以及 StreamingLLM 论文的主要作者。 肖的共同作者包括他的导师韩松，EECS 副教授、MIT-IBM Watson AI 实验室成员、NVIDIA 杰出科学家； 以及 Meta AI 的研究科学家 Yuandong Tian； 陈蓓迪，卡内基梅隆大学助理教授； 以及资深作者 Mike Lewis，Meta AI 的研究科学家。 这项工作将在国际学习表征会议上展示。 令人费解的现象 大型语言模型将数据（例如用户查询中的单词）编码为称为标记的表示形式。 许多模型采用所谓的注意力机制，使用这些标记来生成新文本。 通常，人工智能聊天机器人会根据刚刚看到的文本编写新文本，因此它将最近的令牌存储在内存中（称为 KV 缓存）以供以后使用。 注意力机制构建了一个包含缓存中所有令牌的网格，这是一个“注意力图”，它映射了每个令牌或单词彼此之间的关联程度。 理解这些关系是使大型语言模型能够生成类似人类文本的功能之一。 但是当缓存变得非常大时，注意力图可能会变得更大，从而减慢计算速度。 此外，如果编码内容需要的令牌数量超出了缓存所能容纳的数量，则模型的性能会下降。 例如，一个流行的模型可以存储 4,096 个令牌，但一篇学术论文中约有 10,000 个令牌。 […]
上议院报告敦促英国政府重新评估人工智能安全焦点
英国上议院通信和数字委员会发布的一份报告表明，英国政府需要拓宽对人工智能安全的视角，以避免在快速发展的人工智能领域落后。 该报告从大型科技公司、学术界、风险投资家、媒体和政府等各利益相关者那里收集了大量证据后，强调政府需要关注大型语言模型（LLM）带来的更直接的安全和社会风险。 该委员会主席斯托维尔男爵夫人断言，人工智能大语言模型的快速发展可与互联网的引入相媲美，并强调政府采取平衡方法的重要性。 斯托威尔说：“我们需要应对风险，以便能够利用机遇，但我们需要适度且务实。我们必须避免英国错过潜在的人工智能淘金热。” 该报告的调查结果与政府通讯总部下属国家网络安全中心 (NCSC) 提出的担忧一致，该中心发布的一份报告表明，人工智能 (AI) 有望在未来两年内加剧全球勒索软件威胁。 NCSC 指出目前人工智能在以下领域的应用： 恶意网络活动 以及网络攻击的预期扩大，特别是在勒索软件领域。 为了应对日益严重的威胁，政府与私营部门合作，在 人工智能安全峰会 十一月在布莱切利公园。 该举措旨在管理前沿人工智能的风险，确保其安全、负责任的发展。 NCSC 敦促组织和个人遵循其勒索软件和网络安全建议，以加强对网络攻击的防御。 据国家犯罪局 (NCA) 称，网络犯罪分子已经在开发犯罪生成人工智能 (GenAI) 并提供“GenAI 即服务”，让愿意付费的人能够获得改进的功能。 上议院通信和数字委员会报告的一个关键方面围绕着关于监管人工智能技术的争论，Meta 的首席人工智能科学家 Yann LeCun 等人主张人工智能开发的开放性。 该报告解决了人们对“封闭”与“开放”生态系统的担忧，强调了将塑造人工智能和法学硕士市场并影响监管的竞争动态。 委员会强调需要制定明确的人工智能政策目标，以防止当前行业现有企业的监管捕获。 该报告认识到这场辩论的微妙本质，承认微软和谷歌等主要科技公司的观点。 这些公司在表达对“开放访问”技术的支持的同时，也强调了与公开可用的大型语言模型相关的重大安全风险。 例如，微软认为并非所有使用人工智能的行为者都有善意，并强调防止故意滥用和无意伤害的重要性。 通过对开放式法学硕士的可及性的不同看法，进一步指出了开放性与安全性之间的紧张关系。 虽然开放模型促进了透明度和更广泛的访问，但人们对潜在的滥用和需要强有力的保障措施提出了担忧。 人工智能平台 Hugging Face 的全球政策总监艾琳·索莱曼 (Irene Solaiman) 强调了信息披露和透明度在评估风险时的重要性。 英国政府人工智能安全研究所主席伊恩·霍加斯 (Ian Hogarth) 对目前私营公司界定法学硕士和生成式人工智能前沿的现状表示担忧，这可能会导致潜在的利益冲突。 因此，委员会建议“加强 DSIT 的治理措施 [Department for Science, Innovation […]
NSF 与微软、OpenAI 等公司共同制定人工智能资源试点计划
微软, 英伟达 和 OpenAI 等公司与美国国家科学基金会和其他联邦机构合作开展国家人工智能研究资源试点计划，将研究人员与 人工智能 研究基础设施。 根据该计划，该计划支持“安全、可靠和值得信赖的人工智能”的进步 美国国家科学基金会 (NSF) 的公告。 什么是国家人工智能研究资源？ 国家人工智能研究资源是一个试点计划，旨在提供对资源密集型人工智能培训和运营基础设施（如 Microsoft Azure）以及隐私和安全资源的访问。 公告称，该试点计划将“加强和民主化对推动负责任的人工智能发现和创新所需的关键资源的获取”。 NSF 主任 Sethuraman Panchanathan 在声明中表示：“通过 NAIRR 试点投资人工智能研究，美国释放了发现和影响，并增强了其全球竞争力。” NAIRR 的既定目标之一是通过行业合作孵化“商业上可行的人工智能应用程序和解决方案”。 请参阅：安全研究人员发现了一个 GPU 漏洞，可能会导致 攻击者窃听与生成人工智能的对话 （科技共和国） NAIRR 试点计划重点关注四个领域： NAIRR Open将使各种开放和多样化的AI资源成为可能。 NAIRR Secure 将支持需要隐私和安全保护资源的人工智能研究，由美国国立卫生研究院和美国能源部共同领导。 NAIRR Software 将支持和研究用于 NAIRR 试点资源的人工智能软件、平台、工具和服务的互操作使用。 NAIRR Classroom 将是一项针对社区的外展计划。 NAIRR 是《规划》中概述的计划的一部分 关于人工智能发展的行政命令 由乔·拜登总统于 2023 年 10 月发布。 哪些科技公司参与了 NAIRR？ […]
多种AI模型帮助机器人更透明地执行复杂计划 | 麻省理工学院新闻
您的每日待办事项清单可能非常简单：洗碗、购买杂货和其他细节。 你不太可能写下“拿起第一个脏盘子”或“用海绵清洗盘子”，因为家务活中的每一个微型步骤都感觉很直观。 虽然我们可以不加思考地例行完成每个步骤，但机器人需要一个复杂的计划，其中涉及更详细的轮廓。 麻省理工学院的 Improbable AI 实验室是计算机科学与人工智能实验室 (CSAIL) 内的一个小组，它通过新的多模式框架为这些机器提供了帮助： 分层规划的组合基础模型 (HiP)，利用三种不同基础模型的专业知识制定详细、可行的计划。 与 OpenAI 的 GPT-4（ChatGPT 和 Bing Chat 所基于的基础模型）一样，这些基础模型接受了大量数据的训练，适用于生成图像、翻译文本和机器人等应用。 与 RT2 和其他在配对视觉、语言和动作数据上进行训练的多模态模型不同，HiP 使用三种不同的基础模型，每个模型都在不同的数据模态上进行训练。 每个基础模型捕获决策过程的不同部分，然后在需要做出决策时一起工作。 HiP 消除了访问配对视觉、语言和动作数据的需要，而这些数据很难获得。 HiP 还使推理过程更加透明。 人类日常琐事可能是机器人的“长期目标”——一个总体目标，涉及首先完成许多较小的步骤——需要足够的数据来计划、理解和执行目标。 虽然计算机视觉研究人员试图为这个问题构建整体基础模型，但配对语言、视觉和动作数据的成本很高。 相反，HiP 代表了一种不同的多模式配方：将语言、物理和环境智能廉价地整合到机器人中的三重奏。 “基础模型不必是单一的，”未参与该论文的 NVIDIA AI 研究员 Jim Fan 说道。 “这项工作将具体代理规划的复杂任务分解为三个组成模型：语言推理器、视觉世界模型和行动规划器。 它使困难的决策问题变得更加容易处理和透明。” 该团队相信他们的系统可以帮助这些机器完成家务，例如收起一本书或将一个碗放入洗碗机中。 此外，HiP 可以协助完成多步骤的构建和制造任务，例如按特定顺序堆叠和放置不同的材料。 评估 HiP CSAIL 团队测试了 HiP 在三项操作任务上的敏锐度，其表现优于同类框架。 该系统通过开发适应新信息的智能计划来进行推理。 首先，研究人员要求它将不同颜色的块相互堆叠，然后将其他块放在附近。 问题是：一些正确的颜色不存在，因此机器人必须将白色块放入颜色碗中才能绘制它们。 HiP 经常准确地适应这些变化，特别是与 […]
从来没有“开放”人工智能这样的东西
在世纪之交，当现代网络刚刚兴起、微软称王时，一场规模虽小但不断发展的技术运动对公司构成了生存威胁。 微软时任首席执行官史蒂夫·鲍尔默 (Steve Ballmer) 称为其中之一 它的核心要素是“一种将自身附着在其接触到的一切事物上的癌症”。 这种疾病是一种竞争性操作系统 Linux 及其代表的开源软件：与 Microsoft Windows 和 Office 等昂贵的专有软件相比，任何人都可以免费下载、修改和使用的程序。 开源软件最终确实融入了互联网的大部分内容——Mozilla 火狐浏览器， 这 安卓 操作系统，以及 维基百科 都是“开放”项目，但科技行业成功地将平等主义理念转化为商业机会。 价值数万亿美元的公司使用免费的开源软件来构建或增强自己的产品。 开源的任何东西仍然经常被设计用于，并且 依靠 依次调解大多数互联网访问的大型科技平台、小工具和数据服务器 吸引 用户 世界上最强大的公司。 仅仅运行一个应用程序或托管一个网站几乎肯定需要从微软、谷歌或亚马逊等公司运营的云服务器购买计算时间。 现在，新兴的生成人工智能行业也面临着类似的问题。 越来越多 人们正在使用大公司提供的人工智能产品，并且 很少 对技术的运作方式有任何见解或发言权。 作为回应，越来越多的研究人员和组织开始支持开放 AI（不要与 ChatGPT 背后的秘密公司 OpenAI 混淆）。 这个想法是创建相对透明的模型，让公众可以更容易、更便宜地使用、研究和复制，试图使高度集中的技术民主化，这种技术可能有潜力改变工作、政治、休闲，甚至 宗教。 但这场运动，就像之前的开源革命一样，面临着被大型科技公司吞并的风险。 没有比《骆驼 2》更好地说明这种紧张局势的了，它是最突出和最重要的。 有争议的 自称“开放”的人工智能系统是由 Facebook、Instagram、WhatsApp 和 Threads 的巨头 Meta 创建的。 去年夏天发布的 Llama […]