伊隆·马斯克透露他的人工智能将在多少个 Nvidia 芯片上进行训练

这位亿万富翁周一在 X 上回复了一篇帖子,并表示在对 100,000 辆 H100 进行训练后,xAI 聊天机器人 Grok 3 的最新版本应该是“特别的”。

马斯克指的是 Nvidia 的 H100 图形处理单元,也称为 Hopper,它是一种 AI 芯片,可帮助处理大型语言模型 (LLM) 的数据。随着科技公司竞相打造更智能的 AI 产品,这些芯片是 AI 开发的关键组成部分,也是硅谷的热门商品。

每个 Nvidia H100 图形处理器 芯片是 预计成本 约 3 万美元,尽管有些 估计 成本最高可达 40,000 美元。也可能有批量折扣。

根据这些估计,这意味着 Grok 3 正在价值 30 亿至 40 亿美元的 AI 芯片上进行训练——但目前尚不清楚这些芯片是否由马斯克的公司直接购买。也可以从云服务提供商那里租用 GPU 计算,The Information 已报告 5 月份,马斯克的 xAI 初创公司正在与甲骨文进行谈判,计划在几年内斥资 100 亿美元租用云服务器。

但我们知道,近年来马斯克的公司直接购买了大量 H100。例如,据报道,特斯拉首席执行官将原本要交付给特斯拉的价值 5 亿美元的 Nvidia H100 转而交付给 X。

基于 100,000 个 GPU 的训练将比 Grok 2 有显著进步。马斯克 在 4 月份接受挪威主权基金负责人 Nicolai Tangen 采访时表示,Grok 2 将需要大约 20,000 架 H100 进行训练。

xAI 迄今已发布 Grok-1 和 Grok-1.5,最新版本仅供早期测试人员和 X(原 Twitter)上的现有用户使用。马斯克 在帖子中说 X 星期一宣布 Grok 2 将于 8 月推出,并在另一篇有关 GPU 的帖子中指出 Grok 3 将于年底推出。

xAI 没有回应置评请求。

10 万个 GPU 听起来很多,事实也确实如此。但其他科技巨头,比如 正在积攒更多的 GPU。马克·扎克伯格在 1 月份表示,到 2024 年底,Meta 将购买约 35 万块 Nvidia H100 GPU。他还表示,Meta 将拥有约 60 万块芯片(包括其他 GPU)。

如果真是这样,Meta 将花费约 180 亿美元打造其 AI 能力。

H100 芯片的囤积也导致了去年对顶尖 AI 人才的疯狂招聘。

人工智能初创公司 Perplexity 的创始人兼首席执行官 Aravind Srinivas 谈到了他试图挖走一位 Meta AI 研究员但却被拒绝的经历,部分原因是扎克伯格拥有大量的人工智能芯片。

“我曾试图从 Meta 聘请一位资深研究员,你知道他们怎么说吗?‘当你有 10,000 个 H100 GPU 时再来找我,’”Srinivas 说。

1719856318
#伊隆马斯克透露他的人工智能将在多少个 #Nvidia #芯片上进行训练
2024-07-01 17:11:29

Leave a Reply

Your email address will not be published. Required fields are marked *

近期新闻​

编辑精选​