周二，英特尔 透露 在凤凰城举行的 Vision 2024 活动上展示了一款名为 Gaudi 3 的新型人工智能加速器芯片。 在运行大型语言模型（例如那些支持 聊天GPT），该公司将 Gaudi 3 定位为 Nvidia 的替代品 H100，一种流行的数据中心 GPU，已 可能会出现短缺，虽然显然这是 有所缓解。
与 Nvidia 的 H100 芯片相比，英特尔预计在 Gaudi 3 上 OpenAI 的 GPT-3 175B LLM 和 Meta 的 70 亿参数版本的训练时间要快 50% 骆驼2。 在推理（运行经过训练的模型以获得输出）方面，英特尔声称其新的 AI 芯片为 Llama 2 和 H100 提供的性能比 H100 快 50% 猎鹰180B，这都是相对流行的开放权重模型。
英特尔瞄准 H100 是因为 高市场占有率，但该芯片并不是 Nvidia 正在研发的最强大的 AI 加速器芯片。 的公告 H200 和布莱克威尔 B200 此后在纸面上超越了 H100，但这两款芯片都还没有问世（H200 正在开发中） 预期的 2024 年第二季度——基本上是现在的任何一天）。
与此同时，上述 H100 供应问题一直是科技公司和人工智能研究人员头疼的问题，他们必须 争取访问权 任何可以训练人工智能模型的芯片。 这导致了一些科技公司，例如 微软, 元， 和 开放人工智能 （有传言）寻求自己的人工智能加速器芯片设计，尽管定制芯片通常是 制造的 由英特尔或台积电提供。 谷歌拥有自己的张量处理单元系列（TPU）自 2015 年以来一直在内部使用。
考虑到这些问题，如果英特尔能够达到理想的价格（英特尔尚未提供，但据报道 H100 的价格约为 30,000 至 40,000 美元）并保持足够的产量，那么英特尔的 Gaudi 3 可能会成为 H100 的潜在有吸引力的替代品。 AMD 还生产一系列具有竞争力的 AI 芯片，例如 AMD Instinct MI300 系列，售价为 大约 10,000 美元–15,000 美元。
高迪3性能
英特尔表示，新芯片建立在其前身的架构之上， 高迪2，通过高带宽连接连接两个相同的硅芯片。 每个芯片包含一个 48 MB 的中央高速缓存，周围有四个矩阵乘法引擎和 32 个可编程张量处理器核心，使核心总数达到 64 个。
这家芯片制造巨头声称，Gaudi 3 使用 8 位浮点基础设施提供的 AI 计算性能是 Gaudi 2 的两倍，这对于训练 Transformer 模型至关重要。 该芯片还使用 BFloat 16 数字格式将计算能力提高了四倍。 Gaudi 3 还配备 128GB 较便宜的 HBMe2内存 容量（可能有助于价格竞争力）和 3.7TB 内存带宽。
由于数据中心众所周知 耗电英特尔强调了 Gaudi 3 的功效，声称与 Nvidia 的 H100 相比，Llama 7B 和 70B 参数以及 Falcon 180B 参数模型的推理功效提高了 40%。 英特尔 Habana 实验室首席运营官 Eitan Medina 将这一优势归功于 Gaudi 的大矩阵数学引擎，他声称与其他架构相比，该引擎所需的内存带宽要少得多。
高迪与布莱克威尔
上个月，我们 覆盖 Nvidia Blackwell 架构的引人注目的发布，包括 B200 GPU，Nvidia 声称这将是世界上最强大的人工智能芯片。 因此，将我们所知道的英伟达最高性能的人工智能芯片与英特尔目前可以生产的最好的芯片进行比较似乎是很自然的事情。
首先，Gaudi 3 是使用台积电 (TSMC) 制造的 N5工艺 技术，根据 IEEE 频谱，缩小了英特尔与英伟达在半导体制造技术方面的差距。 即将推出的 Nvidia Blackwell 芯片将使用 定制N4P工艺据报道，与 N5 相比，它提供了适度的性能和效率改进。
与竞争芯片中使用的更昂贵的 HBM3 或 HBM3e 相比，Gaudi 3 对 HBM2e 内存的使用（如上所述）值得注意，提供了性能和成本效率的平衡。 这一选择似乎强调了英特尔不仅在性能上竞争而且在价格上竞争的战略。
至于 Gaudi 3 和 B200 之间的原始性能比较，只有在芯片发布并由第三方进行基准测试后才能得知。
随着科技行业对人工智能计算的渴望不断升温，IEEE Spectrum 笔记 英特尔下一代Gaudi芯片，代号 猎鹰海岸，仍然是一个兴趣点。 英特尔是否会继续依赖台积电的技术，还是利用自己的代工业务以及即将推出的晶圆代工业务，还有待观察。 纳米片晶体管技术 在人工智能加速器市场获得竞争优势。
2024-04-11 20:56:59
1712923037
