英伟达推出更强大的升级款人工智能芯片 GH200:内存是 H100 的三倍
编程客栈()8月9日消息:英伟达于周二发布了一款设计用于运行人工智能模
编程客栈() 8月9日消息:英伟达于周二发布了一款设计用于运行人工智能模型的新芯片,以抵挡包括 AMD、谷歌和亚马逊在内的竞争对手在 AI 硬件领域的挑战。
(相关资料图)
根据一些估算,目前英伟达在 AI 芯片市场占有超过 80% 的份额。该公司专攻图形处理单元(GPU),已成为支撑生成式AI 软件(如谷歌的 Bard 和编程客栈OpenAI 的 ChatGPT)的较大型 AI 模型的首选芯片。然而,由于科技巨头、云服务提供商和初创公司争夺 GPU 能力来开发自己的 AI 模型,英伟达的芯片供应短缺。
英伟达的新芯片 GH200 与公司目前最高端的 AI 芯片 H100 采用相同的 GPU。但WKUJat是,GH200 将该 GPU 与 141GB 的尖端内存以及 72 核的 ARM 中央处理器配对。
英伟达 CEO 黄仁勋在周二的一次演讲中表示:「我们给这个处理js器做了增强。」他还补充道:「这个处理器专为全球数据中心的规模而设计。」
据黄仁勋称,这款新芯片将于明年第二季度在英伟达的经销商处面市,并将在年底前供样品测试。英伟达代表拒绝透露价格。
通常,使用 AI 模型的过程分为训练和推理至少两个部分。
首先,使用大量数据对模型进行训练,这个过程可能需要数月时间,有时需要像英伟达的 H100 和 A100 芯片那样的成千上万个 GPU。然后,将模型用于软件中进行预测或生成内容,这个过程称为推理。与训练一样,推理需要大量的计算编程资源开销,并且每次软件运行时都需要大量的处理能力,比如生成文本或图像时。但与训练不同的是,推理几乎是持续进行的,而训练只有在需要更新模型时才需要进行。
黄仁勋表示:「你可以选择几乎任何大型语言模型放入其中,它将以令人惊讶的速度进行推理。大型语言模型的推理成本将大幅降低。」
英伟达的新 GH200 芯片专为推理而设计,因为它拥有更大的存储容量,可以将更大的 AI 模型放置在一个单独的系统上,英伟达副总裁 Ian Buck 在周二与分析师和记者的电话会议上表示。英伟达的 H100 内存容量为 80GB,而新的 GH200 为 141GB。英伟达还宣布推出了一个将两个 GH200 芯片结合成一台计算机的系统,以运行更大的模型。
Buck 说:「更大的存储容量使得模型可以常驻在单个 GPU 上,无需多个系统或多个 GPU 来运行。」
此次宣布正值英伟达的主要 GPU 竞争对手 AMD 最近发布了自己的 AI 芯片 MI300X,该芯片支持 192GB 的内存,被市场推广为适用于 AI 推理。包括谷歌和亚马逊在内的公司也正在设计自己的定制 AI 芯片用于推理。
关键词:
[ 相关文章 ]
编程客栈()8月9日消息:英伟达于周二发布了一款设计用于运行人工智能模
锴威特8月8日晚间公布网上申购情况及中签率,公司此次网上定价发行有效
今年第6号台风“卡努”和第7号台风“兰恩”目前正分别朝着日本九州地区
尽管越来越多的华尔街人士预测美国经济将能够避免衰退,但瑞银(UBS)
最近一段时间,京津冀、东北等地出现了洪涝地质灾害,不少地方道路被淹
宠你一辈子伍家格格书包网下载,宠你一辈子伍家格格这个很多人还不知道
0471房产来为大家解答以上的问题。四年级上册第二单元作文小小动物园40
据叙利亚通讯社消息,当地时间8日,叙利亚常驻联合国代表萨巴格表示
对于RNG老粉丝来说,不好受,毕竟一边是小虎,另外一边是UZI,其实在老
记者从吉林省气象局获悉,受第6号台风“卡努”转向北上和高空槽共同影
App8月8日消息,近日从知情人士处获悉,山东潍坊相关部门正在要求地方
中新网北京8月8日电(记者郭超凯)近期,全国多地受台风“杜苏芮”影响出
仲景食品(300908):上海葱油持续放量费用缩减利润释放
配置方面,这款笔记本可选R57640HS到R97940HS处理器,显卡可选95W性能
挖贝网2023年8月8日,工业富联(601138)(601138)近日发布2023年半年度
1、若执行的标准是公安部标准的穿线管质量最优。2、符合该标准的穿线管
一年一度的台北上海双城论坛,今年轮到上海方主办。而按照往年惯例,只
逆水寒手游在游戏中探索时能够获得大量的奖励,为大家带来逆水寒手游废
交地即交证!石景山助力企业落地发展,交证,交地,石景山区,落地发展,不
2023媒体杯首战去哪儿,老板独造两球!我懂发挥“优良传统”拿下开门红
[ 相关新闻 ]
Copyright 2015-2022 海峡医院网 版权所有 备案号:皖ICP备2022009963号-10 联系邮箱:396 029 142 @qq.com