使用全新的 NVIDIA Isaac 基础模型和工作流程创建、设计并部署机器人应用程序
机器人技术的应用正迅速扩展至各种环境，如智能制造设施、商用厨房、医院、仓库物流以及农业领域。加速这一新技术普及的关键在于人工智能 (AI)。在本文中，来自 NVIDIA 的内容将带您探讨几种 AI 支持工具，这些工具可以帮助机器人专家和工程师构建智能机器人。
全新AI开发工具帮助开发者加速机器人开发。这些工具包括：
NVIDIA Isaac Perceptor，一个用于自主移动机器人 (AMR) 和自动导引车 (AGV) 的全新参考工作流程。
NVIDIA Isaac Manipulator 提供了新的基础模型和用于工业机械臂的参考工作流程。
NVIDIA Jetson用于机器人技术，搭载全新更新的NVIDIA JetPack 6.0。
NVIDIA Jetson 用于机器人技术，配备 NVIDIA JetPack 6.0 的新更新。
视频 1。机器人开发领域的世界领导者正在采用 NVIDIA Isaac 来进行下一代支持人工智能的机器人的研究、开发和生产。 自主移动机器人 (AMR) 和自动引导车辆 (AGV) 对于生产线效率、材料处理和医疗物流至关重要。这些机器人在复杂且未结构化的环境中导航时，能够感知并对周围环境作出反应变得尤为重要。 Isaac Perceptor 基于 NVIDIA Isaac 机器人操作系统 (ROS) 构建，为原始设备制造商 (OEM)、货运服务提供商、软件供应商以及 AMR 生态系统提供支持，加速机器人开发。团队可以通过为移动机器人配备感知能力，在未结构化的环境中实现成功导航和避障。 Isaac Perceptor 的早期合作伙伴包括行业领先的仓储/内部物流企业，汽车制造商，工业机器人制造公司，以及机器人解决方案提供商，例如 ArcBest、比亚迪电子、Gideon、KION、Kudan、idealworks、RGo 和 Teradyne Robotics。
Isaac Perceptor 的主要功能
Isaac Perceptor 提供功能，用于为基于 AI 的自主移动机器人提供多摄像头、3D 环视能力。
基于多摄像头的AI深度感知
Isaac Perceptor 每秒每个摄像头以 30 Hz 的速度处理 1650 万个深度点。从立体相机获取的时间同步图像对用于计算立体视差，并生成场景的深度图或点云。一个高效的半监督深度神经网络 (ESS DNN) 提供了一个基于深度神经网络的立体视差的 GPU 加速包。
图 1. ESS DNN 在 5 米处检测障碍物
多相机视觉惯性里程计
Isaac ROS Visual SLAM 提供用于视觉同时定位与地图构建（VSLAM）和视觉里程计（VO）的 ROS 2 包。这基于 NVIDIA CUDA Visual SLAM（cuVSLAM）库，能够在无显著特征的环境中进行导航时提供小于 1% 平移误差的可靠导航。 在视觉特征稀疏或充满重复图案的环境中导航，是 VSLAM 解决方案面临的一个广为人知的挑战。通过融合多个视角的输入，可以减轻这一问题。在最新更新中，cuVSLAM 引入了多立体相机的并发视觉里程计估计功能。 我们的测试表明，这使性能显著提升。相比单摄像头导航成功率不足 25%，使用多个摄像头的机器人能够始终如一地实现导航目标。
| 视觉里程计方法 | 运行时间 |
| cuVSLAM | 5 毫秒 |
| FRVO, S-PTAM | 30 毫秒 |
| ORB-SLAM2 | 60 毫秒 |
表 1. cuVSLAM 与 FRVO、S-PTAM 和 ORB-SLAM2 的性能比较。cuVSLAM 在使用多摄像头的机器人导航中显示出加速的性能表现。
图 2. 使用一个摄像头的 Isaac ROS Visual SLAM 与使用两个摄像头和四个摄像头的比较
实时多相机体素网格映射
Isaac Perceptor 的核心是 nvblox，这是一款基于 CUDA 加速的 3D 重建库，可识别五米范围内的障碍物，生成 2D 代价图并在 300 毫秒内更新。 Isaac ROS nvblox 提供了用于 3D 场景重建和导航本地障碍代价图生成的 ROS 2 软件包。此软件包可用于静态环境以及包含人群和移动物体的场景。 此版本的独特之处在于支持多摄像头扩展覆盖，可使用多达三台 HAWK 摄像头，实现大约 270° 的视野。
图 3. 使用 Isaac ROS Nvblox 进行体素 3D 重建，包括悬垂障碍物的重建
NVIDIA Nova Orin 开发套件
这款开发套件采用 NVIDIA Jetson AGX Orin，支持多达六个摄像头，包括最多三个立体摄像头和三个鱼眼摄像头，摄像头间的延迟低于 100 微秒。 立体摄像头的分辨率为每个摄像头 2MP，视场角为 110x70，适用于 3D 占用网格建图、深度感知、视觉里程计以及人员检测。您可以从赛格威 (Segway) 或 Leopard Imaging 购买 Nova Orin 开发套件以使用 Isaac Perceptor。 Isaac Perceptor 的参考图在此开发套件上支持最多三个立体摄像头。通过与 ROS 2 软件包更高的模块化集成，此版本还在 Nova Carter 参考机器人上提供了与 Nav2 的参考整合。
增强的相机和传感器兼容性
Isaac Perceptor 为与摄像头和传感器合作伙伴的集成提供了增强支持。Orbbec 成功将其 Gemini 335L 摄像头与 NVIDIA Isaac Perceptor 组件集成。这一集成使用 Isaac ROS Visual SLAM 和 Nvblox 在 NVIDIA Jetson AGX Orin 上得以展示。 LIPS 也成功将其 AE450 摄像头与 Isaac Perceptor 组件 Nvblox 集成。
NVIDIA Isaac Manipulator（英伟达 Isaac 操控器）
Isaac Manipulator 是一个基于 NVIDIA 加速库和 AI 模型的工作流程。它使开发人员能够为机器人手臂或操控器带来 AI 加速，使其能够无缝感知、理解并与周围环境交互。 其基础模型和加速库可作为独立模块集成，或作为整个工作流程应用于解决方案开发中。除了提供独立的模块化组件外，开发人员还可获得示例工作流程（ROS 2 启动脚本），这些流程结合了 Isaac Manipulator 组件，提供了一个完整的端到端参考整合。
图 4. 一个利用 NVIDIA 组件（绿色部分）的 Isaac Manipulator 工作流程示例 Isaac Manipulator 的早期合作伙伴包括机器人开发平台公司、OEM 和 ISV/SI，合作伙伴包括 Intrinsic（Alphabet 公司旗下）、西门子（Siemens）、Solomon、达明机器人（Techman Robot）、徳利得机器人（Teradyne Robotics）、Vention 和安川电机（Yaskawa）。
Isaac Manipulator 的主要功能
Isaac Manipulator 引入 AI 功能，以加速机器人手臂的开发。
cuMotion 用于更快速的路径规划
该GPU加速的运动规划器有助于缩短循环时间。cuMotion作为MoveIt 2运动规划框架的一个插件提供，该框架是由一个国际社区开发并由PickNik Robotics主导的开源项目。 cuMotion能够在多个初始点并行运行轨迹优化，并返回最佳解决方案。 一个GIF展示了使用NVIDIA cuMotion插件和MoveIt2的UR10机械臂运动。
图 5. NVIDIA cuMotion 插件用于 PickNik 的 MoveIt 2 Solomon 是先进视觉和机器人解决方案的领导者，同时也是 Isaac Manipulator 的早期合作伙伴。他们通过 Isaac Manipulator cuMotion 增强的抓取系统实现了八倍更快的路径规划，并且相比传统算法，将路径奇异性发生的频率减少了 50%。
| 指标 | 提升比例（%） |
| 成功率提升 | 346.43 |
| 移动时间减少 | 55.50 |
| 轨迹长度减少 | 42.27 |
| 轨迹规划时间减少 | 816.66 |
表 2. Solomon 的取料系统在 Isaac Manipulator 的支持下的性能提升。Solomon 在成功率、移动时间、轨迹长度和规划时间方面实现了显著改进，同时减少了路径奇异性发生的情况。数据由 Solomon 提供。
基础姿态
FoundationPose 是一个全新的统一基础模型，用于单次拍摄的新物体 6D 姿态估计和跟踪。该模型旨在无需微调的情况下，在处理以前未见过的物体时实现高精度表现。 FoundationPose 目前在 2023 年 BOP 排行榜中，位居未见物体的 6D 定位任务首位。它对于遮挡、快速运动以及诸如纹理和比例等多样化的物体属性表现出强大的鲁棒性，确保在各种场景中的可靠性能。开发人员可以从任意角度生成物体的逼真视图。您可以从 GitHub 获取 FoundationPose 模型。
图6. 使用NVIDIA FoundationPose进行姿态估计和跟踪
SyntheticaDETR
SyntheticaDETR 是一组基于实时检测转换器 (DETRs) 的模型，专用于在图像空间内进行单次物体检测。这些模型通过使用 NVIDIA Omniverse 生成的合成数据进行训练。它通过采用一种更加高效的方法，借助 Transformer 编码器-解码器架构一次性预测所有目标，从而改进了传统的物体检测器。
图7. 使用 SyntheticaDETR 进行目标检测与跟踪 SyntheticaDETR 在合成数据和真实世界数据上进行训练，在 YCB-Video 数据集的已知物体的 2D 检测任务中登顶 BOP 排行榜（平均精度为 0.885，平均召回率为 0.903）。 这些模型还可以检测出物体的 2D 边界框兴趣区域，供如 NVIDIA FoundationPose 等位姿估计器使用。下载 SyntheticaDETR 模型并下载 Isaac Manipulator。
NVIDIA JetPack 6.0
NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0，并支持所有 NVIDIA Jetson Orin 模块和开发套件。 即将推出 NVIDIA Jetson 平台服务，它将提供模块化的、基于 API 的服务，使生成式 AI 和机器人应用的开发更加快速和便捷。这些预构建且可自定义的服务旨在加速 NVIDIA Jetson Orin 系统模块上的 AI 应用开发。
NVIDIA Isaac Sim 4.0
使用 Isaac Sim，开发人员可以生成合成数据以及多样化的虚拟复杂测试环境，支持行业领先的传感器和机器人类型测试。这使得能够实现高度逼真的仿真，可同时实时测试数千台机器人。
英伟达Isaac实验室
Isaac Lab 是一个基于 Isaac Sim 平台构建的轻量级参考应用程序，在机器人基础模型训练中发挥着关键作用。它支持强化学习、模仿学习和迁移学习，能够训练多种机器人形态，为开发者探索设计和功能提供支持。 该工具提供了便捷的使用体验，包括与 VSCode 的集成及兼容性检查器、多 GPU 支持的强化学习功能、通过 RTX 传感器平铺渲染提升性能，以及优化的缓存和着色器管理。 Isaac Sim 的其他新功能包括：
通过PIP安装和导入机器人等向导，使用便捷。
通过高达80%更快的合成数据生成（SDG）实现性能提升。
支持COCO格式的新SDG格式以及用于姿态估计的自定义写入器。
ROS 2 启动支持，提供端到端工作流程以及针对基于图像的发布者的更佳性能。
支持更多内置机器人：包括Universal Robots的UR20和UR30，以及Boston Dynamics的Spot。此外，还有一系列人形机器人，例如1X Neo、Unitree H1、Agility Digit、Fourier Intelligence GR1、Sanctuary A1 Phoenix和小鹏PX5。
文章标签
