Tag: 语言模型

微软推出“小型”AI 语言模型 Phi-3 Mini，接受 AI 输出训练 – IT 专业人士 – 新闻

微软发布了 Phi-3 Mini，这是一种小型语言模型，可根据其他语言模型编写的儿童书籍进行训练。 对AI模型的理解应该大致符合OpenAI的GPT 3.5。 在撰写本文时，Phi-3 Mini 似乎尚未上线，但 微软已将相关论文发布到网上。 这是一个拥有 38 亿个参数的模型。 这是相对较小的，优点是它足够轻，可以在笔记本电脑和智能手机上运行。 培训日期是 根据 Microsoft 在 The Verge 的一篇文章中的说法 部分来自网络，部分由人工智能聊天机器人创建的“儿童读物”，只有 3000 个最常用的单词。 其目的是证明，通过使用正确的训练数据，可以用更少的参数构建同样强大的模型，并且根据 Microsoft 的说法，Phi-3 Mini 可以与 GPT 3.5 和 Mixtral 竞争。 后者有 450 亿个参数。 Mini 版本是微软计划发布的三款 Phi-3 型号系列中的第一款。 此外，Phi-3 Small 拥有 70 亿个参数，Phi-3 Medium 拥有 140 亿个参数。 目前尚不清楚他们何时被释放。 微软将其 Phi 模型放在 HuggingFace 上，但它们也可以通过微软自己的云平台 […]

Apple AI：MM1 语言模型有哪些优势

最近，关于苹果人工智能 (AI) 计划的谣言和悬而未决的问题一样多。 在内部开发者大会 WWDC 等公开场合，苹果老板蒂姆·库克更喜欢使用技术术语“机器学习”，而不是人工智能。 但现在变得更加具体：上周 有报道称，苹果可能有兴趣为自己的应用程序授权谷歌的大型 Gemini 语言模型。 苹果还提供了 在一篇研究论文中 专门开发的语言模型系列，未来可用于 iPhone 和 Siri 等应用程序。 广告 这个名为MM1的模型如此有趣，不仅因为它表明苹果正在积极进行AI研究，还因为它的尺寸和结构相对较小。 MM1 是一种所谓的多模式模型，它既能理解文本查询，又能理解视觉提示。 尽管规模小但“性能有竞争力” 这 MM1 论文 主要涉及研究人员在开发模型时获得的发现。 例如，用于预训练的图像的分辨率对后续性能的影响最大。 或者说训练数据的正确组成很重要。 对于 MM1，Apple 正在尝试不同的图像-文本对混合、混合图像-文本数据（交错）和纯文本。 最终，团队将模型扩展至 3、7 和 300 亿个参数。 据称，与类似的多模式模型相比，30B 模型“在所有类别中都实现了有竞争力的表现”。 MM1 的模型大小为 300 亿个参数，比其他领先公司的大型语言模型要小：Meta 的 LLaMA-2 有 700 亿个参数，德国公司 Aleph Alpha 的 Luminous 模型 扩大到3000亿，对于 GPT4，假设有超过一万亿个参数。 然而，独立观察家认为 […]

生成式人工智能应该用长达 10 秒的时间来展望自动驾驶汽车的未来

Waabi 是一家专注于自动驾驶的初创公司，希望使用一种新颖的人工智能模型来预测其他道路使用者的下一步行动。 不仅会使用机器学习，还会使用生成式人工智能——这一领域的新颖之处。 该系统名为 Copilot4D，是根据激光雷达传感器的数据进行训练的，激光雷达传感器使用光来测量与物体的距离。 如果你给模型一个情况 – 例如例如，如果驾驶员鲁莽地高速进入高速公路，它会预测该地区其他车辆将如何移动。 结果是看到未来 5 到 10 秒的 LIDAR 表示，在本例中，例如，堆积。 广告 Copilot4D 的第一个版本现已推出。 根据老板 Raquel Urtasun 的说法，Waabi 已经在开发更精确的系统，这些系统将用于德克萨斯州的自动驾驶卡车测试车队，其中驾驶软件会决定如何对某些情况做出反应 – 一个集成的解释器，以便说话。 自动驾驶长期以来一直依赖机器学习来规划路线和识别物体。 使用环境数据然后进行预测的生成式人工智能模型达到了一个新的水平。 乐观者希望它能够将自主性提升到一个全新的水平。 Wayve 是 Waabi 的竞争对手，去年已经发布了类似的型号， 它是根据从车辆收集的驾驶视频进行训练的。 Waabi 的工作原理类似于图像或视频生成器，例如 DALL-E 和 来自 OpenAI 的 Sora，但不使用相机数据：它从 LIDAR 传感器获取点云，将车辆周围环境的 3D 地图可视化，并将其分解为多个部分，类似于图像生成器将照片分解为像素的方式。 然后，Copilot4D 根据其训练数据预测点云将如何从 LIDAR 数据移动。 Waabi 是自动驾驶领域为数不多的几家公司之一（包括竞争对手 Wayve 和 Ghost） 他们将他们的方法描述为“人工智能优先”。。 […]

当人工智能开始自我训练时，事情变得很奇怪

更新于 2024 年 2 月 16 日东部时间上午 11:52 ChatGPT 于 2022 年秋季爆发，引发了一场对更先进人工智能的竞赛：GPT-4、Anthropic 的 Claude、Google Gemini 等等。 就在昨天，OpenAI 推出了一款名为 Sora 的车型，最新的根据书面提示即时生成短视频的工具。 但尽管有令人眼花缭乱的技术演示和承诺，基础技术的发展却已经放缓。 最先进、最引人注目的人工智能程序，尤其是语言模型，已经消耗了互联网上大部分可用的文本和图像，并且 训练数据用完，他们最宝贵的资源。 再加上使用人类评估者开发这些系统的成本高昂且缓慢的过程，阻碍了技术的发展，导致迭代更新而不是大规模的范式转变。 公司陷入了争夺毫米级进步的困境。 当研究人员试图从石头中榨出水时，他们正在探索一种新的途径来改进他们的产品：他们正在使用机器来训练机器。 在过去的几个月里， 谷歌 深脑, 微软, 亚马逊, 元, 苹果, 开放人工智能, 和 各种各样的 学术的 实验室 有 所有已发表的研究都使用一个人工智能模型来改进另一个人工智能模型，甚至是它本身，在许多情况下会带来显着的改进。 很多的 科技 高管 宣称这种方法是该技术的未来。 这是无数科幻小说为我们准备的场景。 而且，从极端的角度来看，这种“自学”的结果可能无异于末世论。 想象一下 GPT-5 教 GPT-6，GPT-6 教 GPT-7，依此类推，直到模型超越人类智能。 一些人认为，这种发展将带来灾难性的后果。 九年前，OpenAI 的首席执行官 […]

从来没有“开放”人工智能这样的东西

在世纪之交，当现代网络刚刚兴起、微软称王时，一场规模虽小但不断发展的技术运动对公司构成了生存威胁。 微软时任首席执行官史蒂夫·鲍尔默 (Steve Ballmer) 称为其中之一 它的核心要素是“一种将自身附着在其接触到的一切事物上的癌症”。 这种疾病是一种竞争性操作系统 Linux 及其代表的开源软件：与 Microsoft Windows 和 Office 等昂贵的专有软件相比，任何人都可以免费下载、修改和使用的程序。 开源软件最终确实融入了互联网的大部分内容——Mozilla 火狐浏览器， 这 安卓 操作系统，以及 维基百科 都是“开放”项目，但科技行业成功地将平等主义理念转化为商业机会。 价值数万亿美元的公司使用免费的开源软件来构建或增强自己的产品。 开源的任何东西仍然经常被设计用于，并且 依靠 依次调解大多数互联网访问的大型科技平台、小工具和数据服务器 吸引 用户 世界上最强大的公司。 仅仅运行一个应用程序或托管一个网站几乎肯定需要从微软、谷歌或亚马逊等公司运营的云服务器购买计算时间。 现在，新兴的生成人工智能行业也面临着类似的问题。 越来越多 人们正在使用大公司提供的人工智能产品，并且 很少 对技术的运作方式有任何见解或发言权。 作为回应，越来越多的研究人员和组织开始支持开放 AI（不要与 ChatGPT 背后的秘密公司 OpenAI 混淆）。 这个想法是创建相对透明的模型，让公众可以更容易、更便宜地使用、研究和复制，试图使高度集中的技术民主化，这种技术可能有潜力改变工作、政治、休闲，甚至 宗教。 但这场运动，就像之前的开源革命一样，面临着被大型科技公司吞并的风险。 没有比《骆驼 2》更好地说明这种紧张局势的了，它是最突出和最重要的。 有争议的 自称“开放”的人工智能系统是由 Facebook、Instagram、WhatsApp 和 Threads 的巨头 Meta 创建的。 去年夏天发布的 Llama […]