文|metapost
2019年,nvidia omniverse上线;2021年,omniverse enterprise正式发布;2022年,omniverse cloud云平台发布,使得omniverse具备了更多云属性;同年,nvidia ovx系统发布,带来了经过专门优化的硬件计算平台。
与此同时,nvidia在尊龙凯时ag旗舰的布局逐渐清晰,nvidia希望利用自身在图形计算以及ai、gpu等技术得天独厚的优势,为各个行业的企业提供全栈式尊龙凯时ag旗舰的解决方案,从而对生产质量和效率带来实质性的改善。
其实早在元宇宙概念走进大众视野之前,nvidia就已经着手于相关技术的开发及储备。在深刻洞察各个行业对于虚拟世界和数字孪生的需求后,nvidia对此进行了针对性研发。在其不断迭代自身尊龙凯时ag旗舰的解决方案的同时,众多大型企业纷纷通过omniverse构建了自己的数字孪生或工业元宇宙。
随着全球对于元宇宙的热情不断高涨,也催化了这些技术成果快速从幕后走向台前。
metapost的读者对于omniverse可能并不陌生,此前已多次介绍过。今天,我们再来详细聊聊元宇宙和数字孪生如何通过omniverse落地,以及更多场景下的应用案例。
你以为nvidia只是靠着gpu飚进万亿市值?可不止。
01 为什么omniverse是构建元宇宙的工具?
nvidia omniverse是为了构建具有物理规则的虚拟世界而诞生的。通过omniverse在虚拟世界中做ai训练,再反馈、帮助到现实世界;也可以模拟现实世界中的物理特性,为实际生产提升效率。
现在的互联网内容其实还是以图片、2d视频、文字为主。nvidia认为,在未来几年,互联网传输内容中将出现大量的3d内容,3d内容将为现有行业带来新的变革——而元宇宙就是互联网的3d内容演变。
在搞清楚omniverse和元宇宙的关系前,我们先来搞清楚几个问题:
1、构建元宇宙,需要哪些元素?
1)开放的标准。既然是3d世界,自然会存在内容的交互问题,互联网时代是html,3d内容时代则需要新的数据交互传输格式。开放标准的文件会使用usd(通用场景描述),它本身就是一个开放的格式,越来越多的第三方软件已开始支持usd。
2)可扩展、可加速、时间精准的系统。只有可扩展的系统才能承载庞大的虚拟世界。元宇宙可不像游戏,使用一个沙盒就可以运行开放世界游戏,对于现实世界的模拟要宏大得多。
3) 遵循物理世界的实时仿真。仿真有很多,但目前能做到实时仿真的软件并不多。
4)ai。ai可以帮助我们生成大量相应的3d数字内容,在虚拟世界中进行相关的ai模型训练,再部署到现实世界。
而omniverse具备了以上所有元素——由usd、可扩展性、认证的硬件平台,以及不断扩大的第三方生态系统组成。这也使得其成为构建元宇宙的绝佳工具。
2、 数字孪生也需要一些最基础的元素,它的要求又是什么?
1) 首先是虚拟数据集的单一实时来源。用过第三方软件,你就会发现,各种软件都有各自的格式,当汇总到同一个场景下,难免会出现数据丢失。比如当cad的工程软件转换成mesh文件,有些文件会莫名其妙地消失,就是因为没有单一的实时来源。
2) 现实世界是遵循物理学的,虚拟世界自然也需要遵循。omniverse平台利用feedback技术可以实现这一点,并支持ai的训练和优化。精确计时、与现实世界完美同步。单一的物理世界实现跟世界时钟同步并不是最大的挑战,当ovx集群出现,多个ovx物理服务器横跨了如64代物理服务器,如何保证在渲染同一场景或不同场景下,时间还是完美同步的,才是最大的挑战。
基于nvidia最核心的几项技术:发展了20多年的rtx渲染技术,cuda——最强的护城河,physx——在sdk开发了很多年,以及ai,nvidia将这些最基础的技术配合usd,铸造了omniverse平台,并在上面开发了不同场景下的应用。
02 巨头纷纷布局元宇宙和数字孪生
omniverse在工业元宇宙和数字孪生的应用,涵盖了汽车制造业、能源、交通运输、零售,以及科学技术研究、山火研究、气候研究等等。
1、宝马数字工厂
宝马集团在全球拥有31家工厂,40个不同车型的2100多种可能的车型配置,年产量达到250万辆,99%都是定制化生产,是全球最大的汽车定制制造公司之一。
在这样的规模下生产定制车辆,需要在整个制造过程拥有极高的灵活性和敏捷性。现在宝马集团已经实施了一套完整的端到端数字孪生工厂管理系统,将现实和虚拟现实、机器人技术,以及人工智能相结合。这套实时的数字孪生系统涉及nvidia的软硬件,利用omniverse综合的数字孪生平台,在其全球生产网络中设计、训练、构建和仿真,以及最后部署运行工业的元宇宙应用,利用虚拟世界来优化整个工厂布局、机器人的开发和物流系统。
将不同工具、不同来源的数据汇集到大型的高性能模型,便可实现跨地区、多用户的实时协作。
例如,宝马集团需要定期重新配置生产线来适应新车型,以往物理生产线设计和配置需要根据新的配置停机停产,效率低下,各地规划团队也通常需要在同一地点进行设计及测试。随着电动车和混合动力车型的整合,使得这个过程变得更加复杂,因为增加了各种新的零部件和流程。但在数字孪生工厂中,不同地点的规划专家可以使用omniverse平台进行实时测试和调整生产线设计,打破了时间、空间和人员规划上的限制。基于数字孪生实时内容驱动的布局和流程的评估,加快了整体实验和决策的过程,运行成本也大大降低。
2、零售:劳氏集团
劳氏集团是美国第二大家居装修零售集团,也开始利用数字孪生和人工智能进行零售门店的规划。不对店铺进行任何改变,便可测试和验证数千种产品的布局,通过omniverse用以往无法实现的方式将店铺数据整合到一起。同时使店员和规划者能够实时协作,了解销售业绩,并识别异常情况。
数字孪生技术还可以捕获客户的购物数据,以便改善店铺的布局,提供更好的购物体验。
比如用omniverse进行三维可视化模拟,将之前独立的数据整合起来,并挖掘它们之间的联系。同时,还可以模拟店铺的流量,作为ai模型的训练数据。通过现实的3d扫描设备,将实际的装修物料应用到虚拟的厨房或浴室中进行沉浸式体验。利用增强现实设备,可以看到销售业绩和客户流量,以及顾客的动线。
3、交通运输:德国铁路局
通过单一的真实数据源,数字孪生可以用于检测和实验整个铁路线网的网络,实现车辆和铁路的持续改进,最大程度地提高运行效率和速度,降低运营成本。
目前德国铁路局数字孪生的铁路线网已经覆盖5700座车站和33000公里的铁路线网。除了仿真之外,数字孪生系统还为训练完全自动化的铁路系统ai模型提供了很好的环境。
数字孪生基站可以与现实世界的火车和铁路连网进行同步。如果火车上的相机或激光雷达传感器检测到了潜在危险,其精确位置可以迅速传递给网络中的其它火车,防止发生碰撞或拥堵。如果站点ai计算机视觉相机注意到任何异常,也可以触发事件来通知工作人员。同时,智能传感器在现实世界和由omniverse replicator生成的合成数据组合上进行训练和优化,确保ai模型在任何情景下都能够感知、规划和运行。
4、仓储物流:亚马逊机器人
作为全球最大的电商平台之一,亚马逊拥有超过200个配送中心,每天要处理数千万个包裹,需要超过50万台移动机器人来支持整个仓库的物流系统运转。
亚马逊机器人也在利用nvidia omniverse构筑仓储中心的数字中心,优化仓库的设计和流程,训练更加智能的机器人助手,以提高整体生产力。
在将各种不同的机器人深入到各种仓储中心之前,就可以通过数字孪生对各种软硬件的配置进行验证,避免真实系统的宕机失效,最大化整体运行效率。此外,数字孪生系统还可以生成不同形状、大小、重量的包裹来训练和检验自动分拣的效果。
亚马逊机器人管理了全球最大规模的移动机器人编队,以往无法将3d数据汇集到统一的管道和训练模型中,且没有足够精确的采集数据来支撑ai模型的训练和感知。通过数字孪生可以将多个不同cad应用程序的数据集中到高保真度的仓储中心数字孪生系统中心,通过数字仿真了解整体仓库的性能优化、整体设计,通过合成数据的生成来提升感知模型的训练精度,从而缩短运行时间。
5 、能源:西门子集团
西门子能源在全球600多个回热锅炉的厂房检修管道腐蚀,如果能够将管道腐蚀厚度减小的宕机维修时间缩短10%,每年就可以节省约17亿美金。
预测整体的管道腐蚀情况,通常需要8周的计算时间,这是传统hpc高性能计算的运算时间。而通过数字孪生技术,包括omniverse的数字仿真,以及modulus数字物理模拟仿真,可以将整个管道腐蚀预测时间缩短到小时级别。
2022年nvidia宣布进一步扩展和西门子的尊龙凯时ag旗舰的合作伙伴关系,将西门子xcelerator和nvidia的omniverse平台连接起来,共同打造工业元宇宙。
西门子是工业自动化软件基础设施、建筑技术和交通领域的领先者,结合nvidia在加速图形和人工智能领域的成果,将为用户带来生产和产品全生命周期的效率、生产力以及流程等优化提升。
此外,nvidia还透露,一直都在积极推进和中国品牌的合作,国内几家知名车企已经进入到omniverse的部署阶段。
03 未来数字孪生还将引入哪些新技术?
nvidia表示,首先增强现实、混合现实等技术。通过ar、mr等设备,可以让每个人沉浸式地体验数字孪生世界。
其次是生成式ai的引入。通过ai技术在数字孪生系统中,生成低成本、高效、高保真度、高精度的3d资产,将是未来的技术方向之一。
最后,基于大型语言模型的应用,也为可交付式元宇宙的应用提供支持,颠覆以往需要利用cad软件或者编写代码、图形界面等操作,替换为通过自然语言的交互就可以完成数字孪生系统的生产或运行。
结语
不难看出,nvidia一直保持着自己的节奏,有条不紊地推进元宇宙的相关布局,不断完善着行业的基础建设。
nvidia表示,在人工智能、sdr深度学习等方面,其前期的cuda语言建设其实早在2008年便已开始,“基础建设一定是要走在行业应用前面的。我们对元宇宙依然充满了热情和信心,还是会继续完善基础建设。未来相信整个生态都会群策群力,寻找到元宇宙真正能够创造价值的方式和落地的方向。”
而他们的关注点在于:连接,模拟仿真,对现实世界的运维、交互,以及数字世界和现实世界的运维、交互。nvidia的一切技术都围绕这些展开,然后去解决不同行业的痛点,“只要有痛点存在,就有需求和市场空间在,我们做的事情从未停下来。”