小型语言模型：苹果、微软推出 LLM 替代方案
科技公司纷纷加入建设 最大的大型语言模型 （法学硕士）。例如，在四月份， 元 宣布了4000亿参数 骆驼 3，其参数数量（即决定模型如何响应查询的变量）是 OpenAI 的两倍 原始 ChatGPT 模型 从 2022 年开始。虽然尚未确定， GPT-4 估计有 约 1.8 万亿个参数。 然而，在过去的几个月里，一些最大的科技公司，包括 苹果 和 微软，引入了小型语言模型 (SLM)。这些模型的大小只是 LLM 模型的一小部分，但在许多基准测试中，它们在文本生成方面的表现可以匹敌甚至超越 LLM 模型。 6 月 10 日，苹果在全球开发者大会上宣布 “Apple Intelligence”模型，其中约有 30 亿个参数. 4月底， 微软 发布了 Phi-3 家族 SLM，其模型包含 38 亿到 140 亿个参数。 OpenAI 的首席执行官 Sam Altman 认为我们正处于巨型模型时代的终结。 在一个 一系列测试微软最小的模型 Phi-3-mini […]
Cognition Systems 使用本地 AI 和 LLM 的通用视觉传感器 :: Kicktraq
现在您可以分享了！ 帮助您的支持者实现您的每日目标，并帮助其他人了解您的表现。使用 Kicktraq Mini，一切变得简单。 这里有一些简单的代码片段，您可以用它们将您的个性化小部件嵌入到您的网站、博客、甚至您最喜欢的论坛中。 网站和博客的 HTML 复制 HTML 论坛的 BBCode [url=https://www.kicktraq.com/projects/cognition/deep-vegas-bringing-new-vegas-to-life/][img]https://www.kicktraq.com/projects/cognition/deep-vegas-bringing-new-vegas-to-life/minichart.png[/img][/url] 复制 BBCode Reddit 代码…好吧，Reddit [View the latest stats for Unisense | The universal vision sensor using local AI & LLMs on Kicktraq]（ 复制 Reddit 代码 特别提示： Kickstarter 最近禁用了项目页面上图像的远程嵌入功能，因此嵌入代码在项目页面上不起作用（目前） – 只是在其他地方起作用。 你可以 点击此处了解更多信息。 1718798793 #Cognition #Systems #使用本地 #和 #LLM #的通用视觉传感器 #Kicktraq 2024-06-19 11:44:07
对最多产的 ChatGPT 和 LLM 越狱者的采访
时间快到了！只剩一周时间可以申请 6 月 5 日的 AI Impact Tour 邀请。不要错过这个探索审核 AI 模型的各种方法的绝佳机会。 在此了解如何参加。 2024 年 5 月 13 日星期一太平洋时间上午 10:30 左右，OpenAI 推出了其最新、功能最强大的 AI 基础模型 GPT-4o，展示了其通过音频语音与用户进行真实自然交谈的能力，以及处理上传的音频、视频和文本输入并以比之前的模型更快、更低的成本对其做出响应的能力。 仅几个小时后，太平洋时间下午 2:29， 全新多模态人工智能模型已完成越狱 一位自称“Pliny the Prompter”的个人在他的账户上发布了一个相对简单（但不太明显）的文字提示，要求“解放”该模型 @elder_plinius 在社交网络 X 上。 ⚡️越狱警报⚡️ OPENAI：被攻击了？GPT-4O：解放了？ 见证 OpenAI 的全新模型，输出明确的版权歌词、制作 nuk3 的说明、攻击航母编队的战略计划以及基于 X 光照片的医疗建议！非常…… pic.twitter.com/pH2D9uAspT — 提词者普林尼？（@elder_plinius） 2024 年 5 月 13 日 在 OpenAI 修补此解决方法之前，您只需在 […]
1 位 LLM 可以解决 AI 的能源需求
大型语言模型，为聊天机器人提供支持的人工智能系统，例如 ChatGPT，变得越来越好——但它们也变得越来越大，需要更多的能量和计算能力。对于廉价、快速且环保的 LLM，它们需要缩小，理想情况下要小到可以直接在手机等设备上运行。研究人员正在寻找方法来实现这一点，方法是将存储其内存的许多高精度数字大幅度四舍五入为 1 或 -1。 LLM 与所有神经网络一样，都是通过改变人工神经元之间的连接强度来训练的。这些强度以数学参数的形式存储。研究人员长期以来一直通过降低这些参数的精度来压缩网络（这一过程称为量化），这样它们可能占用 8 位或 4 位，而不是 16 位。现在，研究人员正在将精度提升到 1 位。 如何获得 1 位法学硕士学位 有两种通用方法。一种方法称为训练后量化 (PTQ)，即量化全精度网络的参数。另一种方法，即量化感知训练 (QAT)，即从头开始训练网络以具有低精度参数。到目前为止，PTQ 更受研究人员的欢迎。 今年 2 月，苏黎世联邦理工学院的秦昊桐、北京航空航天大学的刘祥龙和香港大学的黄伟组成的团队提出了一种 PTQ 方法，称为 法学硕士。它使用 1 位近似网络中的大多数参数，但使用 2 位表示一些显著权重（对性能影响最大的权重）。在一次测试中，该团队对 Meta 的一个版本进行了二值化 骆驼 具有 130 亿个参数的 LLM。 “1 位 LLM 为设计专门针对 1 位 LLM 优化的定制硬件和系统打开了新的大门。” —Furu Wei, 微软 亚洲研究 为了评估表现，研究人员使用了一种称为困惑度，这基本上是衡量经过训练的模型对随后出现的每段文本的惊讶程度的指标。对于一个数据集，原始模型的困惑度约为 5，而 BiLLM […]
用于企业任务的全新 AI LLM 课程 Snowflake Arctic 即将登陆亚太地区
数据云提供商 Snowflake 推出了一个开源大型语言模型 Arctic LLM，这是帮助企业利用其数据的不断增长的 AI 产品组合的一部分。典型的用例包括数据分析，包括评论的情绪分析、用于客户服务或销售的聊天机器人，以及商业智能查询，例如提取收入信息。 Snowflake 的 Arctic 模型与 Meta、Mistral AI、Google 和 Reka 的其他 LLM 模型一起在其 Cortex 产品中提供， 仅在特定地区提供Snowflake 表示，Cortex 将于 6 月通过 AWS 亚太地区（东京）在日本推出。该产品预计将随着时间的推移向全球和亚太地区其他地区的客户推出。 据该公司称，Arctic 还将通过超大规模亚马逊网络服务以及其他企业使用的模型花园和目录提供，其中包括 Hugging Face、Lamini、Microsoft Azure、NVIDIA API 目录、Perplexity、Together AI 等。 什么是雪花北极？ Arctic 是 Snowflake 于 2024 年 4 月推出的全新“先进”法学硕士 (LLM)，主要针对企业用例而设计。该公司分享的数据显示，Arctic 在多个基准测试中都比其他法学硕士得分高，包括 SQL 代码生成和指令跟踪。 Snowflake 人工智能主管 Baris Gultekin 表示，该法学硕士课程仅用了三个月的时间就建成，仅为其他一些模型的八分之一，预算为 200 […]
营销人员如何适应 LLM 支持的搜索
大型语言模型 (LLM) 提供的搜索体验与网络浏览器体验截然不同。最大的区别在于：LLM 承诺不会像网络浏览器那样通过链接来回答查询，而是通过 答案. 越来越多的客户使用 ChatGPT 或 Perplexity 等应用程序或 Google 的 Search Generative Experience（现为 AI Overviews）或 Bing 的 Copilot 等搜索门户，通过自然语言输出了解产品和品牌。这个过程将具有高度的咨询性和对话性，将创建一个新的信息管道，营销人员需要监控该管道，以确保他们的品牌在相关提示下呈现并准确描述。作者为营销人员提出了三种应对这一挑战的方法。 1716615058 2024-05-24 12:05:38
LLM 服务正受到黑客的攻击，他们希望出售私人信息
使用云托管的大型语言模型 (LLM) 可能非常昂贵，这就是为什么黑客显然已经开始窃取和出售这些工具的登录凭据。 网络安全研究人员 Sysdig 威胁研究团队最近发现了一项此类活动，并将其称为 LLMjacking。 在其 报告Sysdig 表示，它观察到一个威胁行为者滥用 Laravel 框架中的漏洞，该漏洞被追踪为 CVE-2021-3129。 该缺陷使他们能够访问网络并扫描其以获取 LLM 服务的 Amazon Web Services (AWS) 凭证。 新的虐待方式 研究人员在报告中解释说：“一旦获得初始访问权限，他们就会窃取云凭据并获得对云环境的访问权限，并尝试访问云提供商托管的本地 LLM 模型。” “在这种情况下，Anthropic 的本地 Claude (v2/v3) LLM 模型成为目标。” 研究人员能够发现攻击者用来生成调用模型的请求的工具。 其中有一个 Python 脚本，用于检查十项人工智能服务的凭据，并分析哪一项有用。 这些服务包括 AI21 Labs、Anthropic、AWS Bedrock、Azure、ElevenLabs、MakerSuite、Mistral、OpenAI、OpenRouter 和 GCP Vertex AI。 他们还发现，攻击者在验证阶段没有运行任何合法的 LLM 查询，而是“足够”地找出凭据的功能以及任何配额。 在其新闻报道中， 黑客新闻 表示，这些发现证明，除了通常的快速注入和模型中毒之外，黑客正在寻找新的方法来武器化法学硕士，通过将法学硕士的访问权货币化，同时将账单邮寄给受害者。 订阅 TechRadar Pro 时事通讯，获取您的企业成功所需的所有热门新闻、观点、功能和指导！ 研究人员强调，这笔费用可能相当大，法学硕士每天的费用高达 46,000 […]
LangFuse：您的一体化 LLM 工程平台
发现更多 人工智能商业工具： LangFuse 是一款功能强大的开源商业工具，旨在简化 LLM（大型语言模型）应用程序的开发和改进流程。 LangFuse 具有一套全面的功能，提供用于跟踪、提示管理、评估、数据集推导和指标跟踪的工具，所有这些工具都紧密集成到 LangFuse Tracing 平台中。 业务经理可以利用 LangFuse 通过详细的生产跟踪、协作提示版本控制和部署以及在 LangFuse UI 中实时测试提示和模型来调试和增强其 LLM 应用程序。 该平台还允许收集用户反馈、手动和基于模型的评估，以及从生产数据中导出数据集以微调模型和测试应用程序。 LangFuse 可与任何 LLM 应用程序和模型无缝协作，提供适用于 Python 和 JS/TS 的 SDK，以及流行库的本机集成。 此外，该工具致力于开源，允许用户在本地或自托管运行。 LangFuse 持续关注创新和改进，定期更新其平台的新功能和集成，例如基于模型的评估、Docker Hub 上的 Docker 镜像、即时管理中的 ChatML 集成以及对 LangChain 接口的支持。 对于希望优化 LLM 应用程序并简化开发工作流程的业务经理来说，LangFuse 提供了全面且用户友好的解决方案，可以提高评估和改进语言模型的生产力和效率。 LangFuse – 特点 开源 法学硕士工程平台 跟踪调试和改进 LLM 应用程序 用于完整开发工作流程的工具 协作版本控制和部署的提示管理 用于在 UI […]
iPhone 16 可能会获得对生成式 AI 的设备上 LLM 支持：了解苹果在 iOS 18 上的计划的所有细节
据报道，苹果将在 iOS 18 更新中开发多项人工智能功能。 据报道，在过去的几个月里，该公司还与谷歌、OpenAI 和百度等领先公司进行谈判，以将他们的人工智能技术用于苹果即将推出的设备。 现在，有新的传言称苹果正在开发其内部大语言模型（LLM）以带来生成式人工智能功能。 此举预计将支持该公司的隐私承诺。 了解苹果分析师对这家酿酒公司的计划有何评价。 Apple 内部法学硕士即将推出 根据马克·古尔曼的说法 报告，苹果可能正在开发自己的法学硕士来支持推测的生成式人工智能功能。 这意味着人工智能功能将在设备上运行，而不是在云服务上运行。 古尔曼说：“所有迹象都表明它将完全在设备上运行。 这意味着该技术由 iPhone 内部的处理器提供支持，而不是云端。” 然而，也有一个问题，据推测，苹果的人工智能工具可能不如其他领先的基于云的竞争对手强大或能够完成复杂的任务。 但为了完善其服务，该公司可能会利用谷歌等其他人工智能提供商的技术，将一流的人工智能战略推向市场。 有关苹果 iPhone 16 的更多信息 苹果正在计划使用设备上的人工智能功能来提供更快的服务并保护他们的隐私。 此外，该公司预计将重点关注即将推出的人工智能功能和工具将如何帮助用户执行日常任务。 有关该公司人工智能目标的更多信息将在定于 6 月 10 日举行的全球开发者大会上公布。在活动期间，该公司预计将发布 iOS 18、主要软件升级和人工智能功能，这将使我们清楚地了解什么可能会出现在 iPhone 16 机型上。 不确定是哪一个手机买？ 请注意，上述信息均基于猜测，因此，我们必须等到 6 月份才能确认苹果一直以来的计划以及传闻是否属实。 还有一件事！ 我们现在可以使用 WhatsApp 频道了！ 关注我们，这样您就不会错过任何来自技术世界的更新。 要关注 WhatsApp 上的 HT Tech 频道，请单击 这里 立即加入！ 1713756403 2024-04-22 […]
AWS 为 PyTorch 提供“闪电般”的快速 LLM 检查点
由于 AWS 对其 Amazon S3 PyTorch Lightning Connector 进行了改进，正在训练大型语言模型 (LLM) 的 AWS 客户将能够以高达 40% 的速度完成模型检查点。 该公司还更新了其他文件服务，包括 Mountpoint、弹性文件系统和 Outposts 上的 Amazon S3。 法学硕士的检查点过程已成为开发生成式人工智能应用程序的最大瓶颈之一。 虽然训练 LLM 时使用的数据集相对较小（大约 100GB），但 LLM 本身相当大，用于训练它们的 GPU 集群也很大。 在这些庞大的 GPU 集群上训练大型法学硕士可能需要几个月的时间，因为模型会一次又一次地检查训练数据，完善其权重。 为了保护他们的工作，GenAI 开发人员定期备份 LLM 或对其进行检查点。 说这有点像 1980 年代的高性能计算 AWS 杰出工程师安迪·沃菲尔德。 Warfield 表示：“他们有一个大型分布式系统，可以在其上构建模型，并且有足够多的主机，以免 GPU 主机发生故障。” 数据名。 “要么他们自己的软件存在错误，要么服务失败。 他们在数千台服务器上运行这些东西，对于一些大型法学硕士来说可能一次需要几个月的时间。 如果 GPU 出现故障，您肯定不想在两周后失去整个工作。” S3是访问对象的标准协议 检查点完成得越快，客户就能越快地恢复法学硕士培训和开发 GenAI […]