北京时间3月9日,英伟达发布了AI企业软件套件——NVIDIA  AI企业。该套件已经过英伟达,官方优化和认证,专门与当天公布的最新更新的VMware  vSphere服务器虚拟化软件配合使用,提供AI企业工具和框架。


英伟达与VMware的合作始于去年9月底,目标是在英伟达,深度集成GPU和VM的服务器虚拟化软件,从而大大简化现代混合云中各种AI作业和应用的开发和部署,为企业未来升级数据中心和部署AI应用提供支持。


英伟达表示,新发布的NVIDIA  AI企业软件套件旨在解决部署单一AI应用的复杂性,还可以处理和管理各种应用和基础设施软件的兼容性。


英伟达在博客中写道:“它涵盖了制造、物流、金融、零售和医疗等多个关键行业,发挥着优化业务、提高效率的作用。“借助NVIDIA  AI  Enterprise软件套件,科学家和AI研究人员可以更轻松地在英伟达使用AI工具,推动高级诊断和智能工厂等AI项目的发展。”


英伟达AI企业软件套件背后,支持运行VMware  vSphere。这是一个由VMware推出的服务器/计算虚拟化平台,使用本机Kubernetes构建,支持在Container上部署AI工作负载。


vSphere  Update  2是该平台的最新更新,与NVIDIA  AI企业软件套件同一天发布。它运行在英伟达,的A100 TensorCore  GPU上,也是唯一一款通过英伟达,认证的利用多实例GPU技术提供实时应用迁移服务的计算虚拟化软件。


不同的人工智能工作负载在规模上可能有所不同,并且有不同的数据要求。有的需要处理图片,比如电商平台的商品推荐系统,有的需要处理文字,比如对话式AI驱动的客服系统。


同时,AI模型的训练需要大量的数据和计算能力,但其部署和推理通常需要较少的计算资源,可能不需要GPU的全部性能。


因此,为了最大化各种规模工作负载的效率,多实例GPU技术可以在硬件层面将每个A100 GPU划分为多达7个实例。在最新版本的vssphere中,得益于两家公司的优化努力,英伟达AI软件套件和VMware  vSphere支持的虚拟工作负载的性能得到了提升,AI工作负载可以线性扩展到多个节点。


官方数据显示,在分布式深度学习训练测试中,虚拟工作负载在vSphere平台上的表现几乎与裸金属GPU平台相当。


VMware云平台部门营销副总裁Lee  Caswell表示,“每个企业都在探索如何通过基础设施现代化来满足AI应用需求。借助NVIDIA  AI  Enterprise和vSphere  7 Update  2,VMware客户现在可以在其虚拟化数据中心快速应用AI,并轻松为其现代应用部署经过认证的AI就绪基础架构。”


Nvidia  Enterprise兼容多种可以在混合云架构下运行的软件,如加速CUDA应用、AI框架、预训练模型、软件开发工具包等。它们可以作为运行在VMware云基础平台上的虚拟数据中心的工作负载快速部署和管理。


优化后的工作负载还可以在多个虚拟节点上扩展,甚至可以支持具有完整GPU虚拟化的大规模深度学习训练模型。


目前在x86架构处理器上使用GPU执行工作负载的成本高于运行虚拟机。不过,Lee  Caswell表示,在两家公司的共同努力下,虚拟机软件已经能够在单个GPU处理器上驱动多个工作负载,将运行成本降低到与裸金属GPU系统类似的水平。


对于大型企业的IT系统经理来说,类似的成本会促使他们转向GPU驱动的IT系统,尤其是未来需要部署AI应用的时候。


NVIDIA副总裁兼企业和边缘计算总经理Justin  Boitano表示:“我们希望IT(新套件和vSphere)成为IT经理的一站式服务平台。


目前在生产环境中部署AI工作量平均需要80周,英伟达希望缩短到8周。


这意味着现有的传统IT管理员必须以熟悉的方式部署IT基础架构。目前整个行业都在摸索类似DevOps的机器学习操作(MLOps)流程,大部分AI应用都是由数据科学团队部署的。未来,传统的信息技术管理员可能会更多地参与进来。英伟达AI企业早期试用已在英伟达开启企业在申请前必须升级到VMware  vSphere  7 Update  2,并且必须使用英伟达认证服务器。通过NVIDIA认证体系认证的服务器包括戴尔科技、新华III、惠和、浪潮, 联想、超微等大容量服务器该套件将作为永久许可证提供,每个CPU插槽的价格为3595美元,额外的企业业务支持许可证的年费为899美元。


上一篇:web服务器是什么? 下一篇:中央网信办:IPv6活跃用户数达5.28亿
框架系统   粤ICP备13024006号
框架系统   粤ICP备13024006号