当今数字时代,人工智能正在推动新一轮产业变革。在备受关注的2024年,黄仁勋相信AI很快就能像人类一样做出决策。他表示,人工智能除了现在的语言模型之外,还将有物理世界模型,应该研究如何通过视觉训练教会机器识别物理世界。机器人技术将不再是一个遥远的概念,而是将越来越融入人类的日常生活。
为了加速人工智能在不同行业不同场景的落地,简化开发流程,发布适用于语言、几何、物理和材料的生成式人工智能模型和NIM微服务。新服务将加速基于常见场景描述的工作流程以及工业数字孪生和机器人的开发。
新发布应用助推AI创新
新发布的通用场景描述()将进一步拓展这一通用3D数据交换框架在机器人、工业设计和工程领域的应用,提高开发者为新一轮人工智能发展构建高精度虚拟世界的能力。
通过在该平台上构建的新的基于生成人工智能的加速开发框架,越来越多的行业现在能够开发用于可视化工业设计和工程项目以及构建下一代物理人工智能和机器人的应用程序。环境模拟的应用。
新推出的产品包括用于 AI 模型的微服务,可生成语言来回答用户查询、生成代码、将材质应用于 3D 对象、理解 3D 空间和物理以帮助加快数字孪生的开发等等。其他包括用于机器人和工业模拟数据格式的新 USD 连接器,以及允许用户将大量™全光线追踪数据集传输到 Pro 的各种开发人员工具。
“重工业的生成式人工智能浪潮已经到来。直到最近,数字世界的主要用户还是创意产业;现在,随着NIM微服务带来的增强功能和可访问性,各个行业都在基于物理的虚拟世界和数字世界。”可以创建双胞胎来加速创新,同时为机器人领域的新一波人工智能技术热潮做好准备。”
通过 NIM 将生成式人工智能应用于美元
开发的生成式人工智能模型将作为 NIM 微服务提供。借助这些模型,开发者可以将生成式人工智能和代理集成到USD工作流程中,拓宽3D世界的可能性,并帮助加速USD在制造、汽车和机器人等新工业领域的应用。
预览版中的微服务包括:
USD Code NIM 微服务:回答常识性问题并根据文本提示自动生成代码,然后将其输入到查看应用程序(例如 Pixar 的)或基于 Kit 的应用程序中,以实现相应 3D 数据的可视化。
USD NIM 微服务:使开发人员能够使用自然语言或图像输入在海量 3D 和图像数据库中进行搜索。
USD NIM 微服务:检查上传的文件与已发布版本的兼容性,并生成完全 API(应用程序编程接口)驱动的 RTX 渲染路径跟踪图像。
即将推出的新微服务包括:
USD NIM微服务:使用户能够根据一系列文本提示组装基于空间智能的场景。
USD NIM 微服务:预测真实材料并将其应用于计算机辅助设计对象。
fVDB Mesh NIM微服务:基于点云数据生成网络并通过Cloud API进行渲染。
fVDB Super-Res NIM 微服务:对帧或帧序列执行 AI 超分辨率,以基于它们生成高分辨率物理模拟。
fVDB NeRF-XL NIM 微服务:使用 Cloud API 在 fVDB 中生成大规模神经辐射场。
它在全球拥有 170 多家工厂,受益于利用 NIM 微服务的计算平台,并创建了正在开发的工厂的数字孪生。
施哲表示:“数字孪生将帮助我们加速新一波工业制造和自主机器的发展。而新的NIM微服务将使数字孪生的开发更加普及,并帮助我们的团队以前所未有的速度基于它进行构建。物理虚拟工厂。”
WPP 是 USD 和 USD Code NIM 微服务的早期用户之一。该公司在其基于构建的生成式人工智能内容创建管道中使用这些微服务来为谷歌等客户提供服务。
WPP 表示:“这些创新的美妙之处在于,它与我们的工作方式高度兼容,并充分利用了开放标准。这不仅加速了未来的工作,而且还使我们能够继续构建和扩展我们之前的工作通过使用 NIM 微服务,我们能够以前所未有的方式与公司一起推出创新的新生产工具。”
USD连接器将生成式AI带入更多行业
去年我们与皮克斯、Adobe、苹果等合作伙伴共同创立了联盟,通过联盟我们与其他合作伙伴发布了新版本、核心规范的进展以及新成员的加入。
现在,多个适用于 数据格式和 Apple Pro 流媒体的新 USD 连接器将为更多行业带来互操作性和先进的创建功能。
为了帮助更多工业工作负载的使用,西门子正在扩大与全球工业自动化和软件提供商的合作。西门子将把该管道与其仿真技术组合相结合,以支持主要利益相关者之间的循证决策和协作。
该集成可实现复杂模拟数据的高保真、实时、真实可视化,使公司能够更深入地了解产品在实际操作环境中的表现。西门子将通过将其纳入其产品生命周期管理软件组合来为这项工作奠定基础。
统一机器人描述格式 ( ) 的连接器也已发布,允许机器人专家将其机器人数据无缝导入到各种应用程序中,用于设计、模拟和强化学习等目的。
为了进一步促进生态系统的扩展,我们发布了软件开发套件,帮助开发者创建自己的强大数据连接器。
新的开发者工具和 API 可以将大规模场景从平台上构建的应用程序通过 GDN 传输到 Apple Pro。这些新工具和 API 目前可以抢先体验。
皮克斯的 Steve May 表示:“显示正在彻底改变我们创建 3D 内容以及与 3D 内容交互的方式。现在,这些新服务和 API 为用户和行业更轻松地参与我们的生态系统铺平了道路。”
目前,API 现已提供 USD、USD Code 和 USD NIM 微服务的预览版本。 - URDF 连接器现在可与 Isaac Sim™ 一起使用。
开发人员可以使用新的开发工具和参考工作流程将生成式人工智能集成到他们的工作流程中,并构建由生成式人工智能支持的合成数据管道。
开源驱动未来人工智能创新
新发布的.1系列大型机型,性能大幅提升。根据官方数据,在超过150个基准测试集上,405B版本的性能等于甚至超越现有的SOTA模型GPT-4o和3.5。作为支持开源AI的模型,Llama 3.1提供了先进的功能,优化了训练堆栈和推理能力,并支持开源和广泛的生态合作。
在备受期待的 2024 年炉边谈话中,黄仁勋和元帅马克·扎克伯格讨论了开源人工智能和人工智能助手的变革潜力。
扎克伯格强调了开源对于推动 A1 发展的重要性。他说,过去,推动所有改进的因素之一是为每种类型的内容提供不同的模型。现在,随着模型变得更大、用途更广泛,这种情况正在改善。
据了解,Llama 3.1开源模型花费了大量的时间和培训资源。 Llama 版本拥有 4050 亿个参数,并使用超过 16,000 个 H100 GPU 进行训练。
黄仁勋表示,该架构是英伟达今年发布的全新芯片架构,也是两年前推出的架构的后继者。与架构GPU相比,架构GPU的单片训练性能是架构的2.5倍,推理性能是架构的5倍。
谈到人工智能未来的发展趋势,黄仁勋强调如何让与人工智能的交互变得更加流畅,而不仅仅是基于文本的交互。他表示,今天的人工智能有点类似于一劳永逸的模式。你说些什么,它就会回应你。未来的人工智能将考虑多个选项,生成选项树,并模拟结果,使其更加强大。
写在最后:
在推动人工智能发展的道路上,我们始终走在行业的前列。无论是刚刚发布的语言、几何、物理、材料的生成式AI模型和NIM微服务,还是今年年初发布的架构,我们都在不断用新技术、新产品、新服务来推动人工智能的快速创新。发展,用实际行动加速人工智能在千行百业的应用,