RSS订阅 | 匿名投稿
您的位置:网站首页 > 服务支持 > 正文

面向企业级服务器 英伟达推出两大数据中心推理新品

作者:habao 来源: 日期:2021-7-7 9:49:01 人气: 标签:企业级服务器

  NVIDIA 面向企业级服务器最新推出的 A30 和 A10 GPU 两大数据中心推理新品,今日完成性能首秀,并创下推理新纪录。

  绝大多数参与数据中心及边缘推理测试的系统均采用 NVIDIA GPU 作为 AI 加速器,少数则采用高通、赛灵思、Neuchips、Centaur、Arm 等其他芯片商的加速器。

  NVIDIA 的两款新 GPU 集高性能与低功耗于一身,可成为企业在 AI 推理、训练、图形和传统企业级计算工作负载等诸多方面的主流选择。思科、戴尔科技、慧与、浪潮和联想预计会从今年夏季开始将这两款 GPU 集成到其最高容量的服务器中。

  MLPerf 基准测试由图灵得主 David Patterson 联合科技公司和全球高校于 2018 年发起,是业界首套衡量机器学习软硬件性能的通用基准,能展示不同 CPU、GPU、加速器组合做展示出的不同性能表现,如今 MLPerf 已成为业界评测 AI 性能的最主流标准之一。

  “随着 AI 持续为各行各业带来变革,MLPerf 也成为企业的一项重要工具,能够助力其在IT基础设施投资方面做出明智的决策。”NVIDIA 加速计算部门总经理兼副总裁 Ian Buck 说,“如今,所有主要 OEM 厂商都提交了 MLPerf 测试结果。”

  除 NVIDIA 公司提交的测试结果外,阿里云、戴尔科技、富士通、技嘉科技、慧与、浪潮、联想和超微等多家 NVIDIA 合作伙伴也提交了共 360 多项基于 NVIDIA GPU 的测试结果。

  最新公布的测试结果显示,NVIDIA 是唯一一家针对数据中心和边缘类别中的每项测试都提交结果的公司,并在所有 MLPerf 工作负载中均展现出领先的性能。

  例如,在数据中心基准测试中,NVIDIA A100 的性能表现相较 CPU 提高 17-314 倍,最新发布的 A10 和 A30 也展现出不错的测试结果。

  此外,NVIDIA 还开创性地使用 NVIDIA Ampere 架构的多实例 GPU 性能,在单一 GPU 上使用 7 个 MIG 实例,同时运行所有 7 项 MLPerf 离线测试。该配置实现了与单一 MIG 实例运行几乎相同(98%)的性能。

  这些提交结果展示了 MIG 的性能和通用性。基础设施经理可以针对特定应用,配置适当数量的 GPU 计算,从而让每个数据中心 GPU 都能发挥最大的效用。

  多项提交结果还基于 NVIDIA Triton 推理服务器。该推理服务器支持来自所有主要框架的模型,可在 GPU 及 CPU 上运行,并针对批处理、实时和串流传输等不同的查询类型进行了优化,能简化在应用中部署 AI 的复杂性,同时领先的性能。

  在配置相当的情况下,采用 Triton 的提交结果所达到的性能接近于最优化的 GPU 实现及 CPU 实现能够达到的性能。

  A30 能够为行业标准服务器提供通用的性能,支持广泛的 AI 推理和主流企业级计算工作负载,如推荐系统、对话式 AI 和计算机视觉。

  A10 可加速深度学习推理、交互式渲染、计算机辅助设计和戏,使企业能够基于通用基础设施,为混合型 AI 和图形工作负载提供支持。通过采用 NVIDIA 虚拟 GPU 软件,可改进管理,为设计师、工程师、艺术家和科学家所用的虚拟桌面提高利用率并完善配置。

  NVIDIA Jetson 平台基于 NVIDIA Xavier 系统级模块,可在边缘提供服务器级的 AI 性能,助力机器人、医疗健康、零售等领域实现更多的创新应用。Jetson 基于 NVIDIA 的统一架构和 CUDA-X 软件堆栈,是唯一采用紧凑型设计、能够运行所有边缘工作负载且功耗低于 30W 的平台。

  A30 和 A10(功耗分别为 165W 和 150W)预计将从今夏起用于各类服务器中,包括经严格测试以确保在各类工作负载下均可实现高性能的 NVIDIA 认证系统。

  总体来看,参与 MLPerf 基准测试的 AI 加速器主要来自 NVIDIA、高通、赛灵思等芯片巨头,尤其是 NVIDIA GPU 几乎刷屏数据中心及边缘的加速器一列,相对而言,我们鲜少看见 AI 硬件初创公司的身影。

  NVIDIA 加速计算部门总经理兼副总裁 Ian Buck 说:“NVIDIA 及合作伙伴的关注点不仅在于实现全球领先的 AI 性能,同时还注重通过即将面市的一系列搭载 A30 和 A10 GPU 的企业级服务器来实现 AI 普及化。”

  iPhone 12在外观上最大的改变,莫过于了以往延续多年的圆润边角设计,改成了更凌厉的直角,回归了iPhone 4时代的风格。这样一来,iPh

  据外媒报道iPhone 12系列的美版机型,包括iPhone 12 mini在内的机型全部配置有mmWave(毫米波) 5G天线的窗口。但在国内销售版本均不支持

  据报道,当地时间周二美国司法部对谷歌提起反垄断诉讼,而谷歌与苹果达成的浏览器默认搜索引擎这一独家交易成为诉讼的核心内容。由于从

  星期二美股收高,科技板块领涨。截至收盘,道指涨140 48点,涨幅为0 52%,报收27288 18点;标普500指数涨34 51点,涨幅为1 05%,报收3315 57梦见躲藏

  

读完这篇文章后,您心情如何?
0
0
0
0
0
0
0
0
本文网址:
下一篇:没有资料