OpenAI 在今年可能只会发布GPT-4.5 ，而不是GPT-5
尽管GPT-4 目前在日益错综复杂的生成式人工智慧世界中处于顶峰，但其竞争对手，包括Anthropic 的Claude 和Meta 的开源Llama 都在不断进步，因此OpenAI 的旗舰产品大型语言模型（LLM）有必要进行新一轮迭代。虽然不少人预计山姆．奥特曼的非营利组织将在2024 年发布GPT-5，但一些分析师现在断言，这种预期仍然很牵强，尤其是考虑到所需的资源规模。 GPT每换代一次，运算资源就增加10倍 据人工智慧安全中心（Center for AI Safety）主任丹．亨德里克斯（Dan Hendrycks）称，OpenAI 的GPT LLM 每换代一次，所需的计算资源就增加10 倍。因此，如果OpenAI 跳过GPT-4.5，直接跳到GPT-5，那么计算需求将比GPT-4 增加约100 倍，相当于约100 万个H100 晶片连续运行三个月。 Anthropic 公司首席执行长达里奥．阿莫代（Dario Amodei）最近指出，目前培养一个最先进的LLM 需要花费约10 亿美元，预计到2025/26 年，这一成本将激增到50 亿到100 亿美元之间。重要的是，10 亿美元的培训成本与GPT-4.5 可以合理推断出的10 倍计算资源激增相吻合。 NVIDIA 今年部署的H100 装置预计年耗电量约为13000 GWh，相当于立陶宛和瓜地马拉等国的年耗电量。到2027 年，全球资料中心的耗电量预计将达到85 到134 太瓦时（TWh）！ 竞争对手正迎头赶上 GPT-4 的竞争对手正在迅速迎头赶上。 Meta 公司的Llama 3 LLM（700 亿参数）目前在Arena 排行榜上排名前五。重要的是，Llama 3 现在已经超越了所有其他开源LLM，这还是在没有即将推出的4050 亿参数模型的情况下。 此外，一些专家现在认为，GPT-5 学习的过程必须「重修」，其中包括利用「不完善的人类对话」和整体「幼稚」的训练过程，才能改善目前已知GPT的相关问题，而这也需要花费很多时间。这与我们最初的观点不谋而合，即OpenAI […]
ChatGPT耗电超恐怖，每天用电超过50万度、为美国一般家庭用电1.7万多倍
但如果生成式人工智慧被进一步采用，耗电量可能会更多。 据《纽约客》杂志报导，OpenAI的热门聊天机器人ChatGPT每天可能要消耗超过50万千瓦时的电力，以响应使用者的大约2亿个请求。相比之下，美国家庭平均每天使用约29千瓦时的电力。将ChatGPT每天的用电量除以普通家庭的用电量，可以发现ChatGPT每天的用电量是家庭用电量的1.7万多倍。 听起来很多，但如果生成式人工智慧被进一步采用，耗电量可能会更多。 使用GPT会「很渴」 其实AI所耗用的电量，与AI「在哪里」训练也有相当的关系。 先前加州大学河滨分校电机与电脑工程系副教授Shaolei Ren曾在他的论文《让人工智能不那么“渴”：揭示并解决人工智能模型的秘密水足迹》指出，如果GPT-3是在微软最先进的美国资料中心训练GPT-3时，将直接消耗70万公升的干净淡水，但如果换到微软的亚洲资料中心训练，用水量将涨到3倍。 微软的资料中心已经是相当先进了，而如果是其它较小规模的企业资料中心来训练AI的话，耗用的只有更多的可能。 由此来计算，ChatGPT回答20~50个问题，需要500ml的水。而这还仅是GPT-3的运算消耗。 因此，Shaolei Ren在他的论文指出，使用AI模型将会「很渴」。 AI生成融入搜寻，威力无穷但耗电也无穷 如果考虑到把AI融入其它应用，那算法就更复杂了。 例如，根据荷兰国家银行（Dutch National Bank）资料科学家亚历克斯·德弗里斯（Alex de Vries）在可持续能源期刊《焦耳》（Joule）上发表的一篇论文中的计算，如果Google将生成式AI技术整合到每次搜寻中，它每年将消耗约290亿千瓦时的电量。据《纽约客》报导，这比肯亚、瓜地马拉和克罗埃西亚等国一年的用电量还要多。 「人工智慧是非常耗能的，」德弗里斯说，「每个人工智慧伺服器的耗电量已经相当于十几个英国家庭的总和。所以这些数字很快就会增加。」 然而，估计蓬勃发展的人工智慧行业消耗多少电力是很难确定的。据the Verge报导，大型人工智慧模型的运行方式存在相当大的差异，而推动人工智慧繁荣的大型科技公司并没有完全公开他们的能源使用情况。 然而，在他的论文中，德弗里斯提出了一个基于NVIDIA公布的资料的粗略计算。这家晶片制造商占据了图形处理器市场约95%的市占率。 德弗里斯在论文中估计，到2027年，整个人工智慧行业每年将消耗85至134太瓦时（1太瓦时相当于10亿千瓦时）。 「到2027年，人工智慧的用电量可能占全球用电量的0.5%，」德弗里斯说，「我认为这是一个相当重要的数字。」 事实上，AI的能源足迹并不会随着训练而结束。德弗里斯的分析表明，当该工具投入工作（根据提示生成资料）时，每次该工具生成文字或图像后，它也会使用大量的计算能力，从而消耗大量的能源。例如，ChatGPT 每天的运行费用可能为564 MWh。 Google已经将生成式人工智慧纳入公司的电子邮件服务中，并正在测试利用人工智慧为其搜寻引擎提供动力。目前该公司每天处理多达90 亿次搜寻。根据资料，德弗里斯估计，如果Google每次搜寻都使用人工智慧，每年大约需要29.2 TWh 的电力，相当于爱尔兰一年的用电量。 延伸阅读：训练AI大模型太耗电，微软打算用小型核反应炉(SMR)为AI供电 延伸阅读：微软工程师算给你看：NVIDIA H100 AI 晶片总耗电量明年将超越凤凰城所有家庭总用电量 延伸阅读：研究指出生成式AI 所消耗的能源，到了2027 年用电量将超过某些国家一年耗电 加入T客邦Facebook粉丝团 1711313725 #ChatGPT耗电超恐怖每天用电超过50万度为美国一般家庭用电1.7万多倍 2024-03-24 08:00:00