Crea, diseña y despliega aplicaciones de robótica utilizando los nuevos modelos y flujos de trabajo de NVIDIA Isaac Foundation.

Las nuevas herramientas de desarrollo de IA ayudan a los desarrolladores a acelerar el desarrollo de la robótica. Estas incluyen:

Video 1. Los líderes mundiales en el desarrollo de robots están adoptando NVIDIA Isaac para la investigación, desarrollo y producción de la próxima generación de robots habilitados con inteligencia artificial.   Los AMRs (robots móviles autónomos) y los AGVs (vehículos guiados automáticamente) son fundamentales para la eficiencia en las líneas de ensamblaje, la manipulación de materiales y la logística en el sector de la salud. A medida que estos robots navegan por entornos complejos y no estructurados, la capacidad de percibir y reaccionar ante su entorno se vuelve esencial.   Isaac Perceptor, desarrollado sobre el Sistema Operativo de Robots NVIDIA Isaac (ROS), permite a los fabricantes de equipos originales (OEMs), proveedores de servicios de transporte, proveedores de software y al ecosistema de AMRs acelerar el desarrollo de la robótica. Los equipos pueden equipar robots móviles con capacidades de percepción para una navegación exitosa y la evitación de obstáculos en entornos no estructurados.   Entre los primeros colaboradores de Isaac Perceptor se encuentran líderes de la industria en almacenamiento/intralogística, fabricantes de automóviles, compañías de robótica industrial y proveedores de soluciones robóticas, como ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo y Teradyne Robotics.

Características clave de Isaac Perceptor

Isaac Perceptor proporciona funciones para ofrecer capacidades de visión periférica en 3D con múltiples cámaras para robots móviles autónomos basados en IA.

Percepción de profundidad basada en IA con múltiples cámaras

Isaac Perceptor procesa 16.5M puntos de profundidad por segundo por cámara a 30 Hz. La disparidad estéreo se calcula a partir de un par de imágenes sincronizadas en el tiempo obtenidas de una cámara estéreo y se utiliza para producir una imagen de profundidad o una nube de puntos de una escena. Una red neuronal profunda semisupervisada eficiente (ESS DNN) proporciona un paquete acelerado por GPU para disparidad estéreo basada en redes neuronales.  

Figura 1. ESS DNN detectando obstáculos a 5 m  

Odometría visual inercial multicámara

Isaac ROS Visual SLAM provides ROS 2 packages for visual simultaneous localization and mapping (VSLAM) and visual odometry (VO). This is based on the NVIDIA CUDA Visual SLAM (cuVSLAM) library and provides robust navigation with less than 1% translation error while navigating in featureless environments.
 
Navigating environments with sparse visual features or repetitive patterns presents a well-known challenge for VSLAM solutions. This can be mitigated by fusing input from multiple viewpoints. In the latest update, cuVSLAM incorporates concurrent visual odometry estimation from multiple stereo cameras.
 
Our testing indicated a marked improvement. Robots consistently achieved their navigation goals using multiple cameras, compared to less than 25% with a single camera.
 

Tabla 1. Comparación de rendimiento de cuVSLAM con FRVO, S-PTAM y ORB-SLAM2. cuVSLAM muestra un rendimiento acelerado en la navegación de robots utilizando múltiples cámaras  

Figura 2. Isaac ROS SLAM Visual con una cámara comparado con dos cámaras y luego con cuatro cámaras  

Mapeo de cuadrícula de vóxeles en tiempo real con múltiples cámaras

En el núcleo del Isaac Perceptor se encuentra nvblox, la biblioteca de reconstrucción 3D acelerada por CUDA que puede identificar obstáculos a una distancia de hasta cinco metros para proporcionar un mapa de costos 2D y actualizarlos en menos de 300 ms.   Isaac ROS nvblox ofrece paquetes ROS 2 para la reconstrucción de escenas 3D y la generación de mapas de costos de obstáculos locales para navegación. Este paquete puede utilizarse en entornos estacionarios y en escenas con personas y objetos móviles.   Lo único en esta versión es el soporte para múltiples cámaras, lo que permite una cobertura ampliada utilizando hasta tres cámaras HAWK, proporcionando un campo de visión de alrededor de 270°.  

Figura 3. Reconstrucción 3D de vóxeles utilizando Isaac ROS Nvblox, incluyendo la reconstrucción de obstáculos suspendidos  

Kit de desarrollo NVIDIA Nova Orin

Este kit de desarrollo, que incluye NVIDIA Jetson AGX Orin, admite hasta seis cámaras, incluyendo hasta tres cámaras estéreo y tres cámaras ojo de pez, con una latencia entre cámaras de menos de 100 microsegundos.   Las cámaras estéreo tienen una resolución de 2MP por cámara, con un campo de visión de 110x70, adecuado para mapeo de rejilla de ocupación en 3D, percepción de profundidad, odometría visual y detección de personas. Adquiere un kit de desarrollo Nova Orin de Segway o Leopard Imaging para utilizar Isaac Perceptor.   Isaac Perceptor tiene un grafo de referencia que admite hasta tres cámaras estéreo en este kit de desarrollo. Con mayor modularidad a través de paquetes ROS 2, esta versión también incluye una integración de referencia con Nav2 en el robot de referencia Nova Carter.

Compatibilidad mejorada con cámaras y sensores

Isaac Perceptor ofrece un soporte mejorado para la integración con socios de cámaras y sensores. Orbbec integró con éxito su cámara Gemini 335L con los componentes Isaac Perceptor de NVIDIA. Esta integración se demuestra en el NVIDIA Jetson AGX Orin utilizando Isaac ROS Visual SLAM y Nvblox.   LIPS también integró con éxito su cámara AE450 con el componente Isaac Perceptor, Nvblox.

Manipulador NVIDIA Isaac

Isaac Manipulator es un flujo de trabajo compuesto por bibliotecas aceleradas por NVIDIA y modelos de IA. Permite a los desarrolladores incorporar aceleración de IA a brazos robóticos o manipuladores que puedan percibir, comprender e interactuar sin problemas con su entorno.   Sus modelos base y bibliotecas aceleradas pueden integrarse como módulos independientes o como un flujo de trabajo completo en el desarrollo de soluciones. Además de componentes modulares e independientes, a los desarrolladores también se les proporcionan flujos de trabajo de ejemplo (scripts de lanzamiento de ROS 2) que combinan los componentes de Isaac Manipulator para una integración de referencia de principio a fin.  

Figura 4. Un ejemplo de un flujo de trabajo de Isaac Manipulator que aprovecha los componentes de NVIDIA (en verde)   Los primeros colaboradores de Isaac Manipulator incluyen empresas de plataformas de desarrollo robótico, OEMs y ISVs/SIs, incluyendo Intrinsic (una compañía de Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention y Yaskawa.  

Características clave del manipulador Isaac

Isaac Manipulator incorpora funciones de IA para acelerar el desarrollo de brazos robóticos.

cuMotion para una planificación de rutas más rápida

Este planificador de movimiento acelerado por GPU ayuda a reducir los tiempos de ciclo. cuMotion está disponible como un complemento para el marco de planificación de movimiento MoveIt 2, un proyecto de código abierto desarrollado por una comunidad internacional y liderado por PickNik Robotics.   cuMotion ejecuta la optimización de trayectorias en paralelo a través de varias semillas y devuelve la mejor solución.   Un GIF que muestra un brazo robótico UR10 en movimiento utilizando el complemento NVIDIA cuMotion con MoveIt 2.  

Figura 5. Plugin NVIDIA cuMotion para MoveIt 2 de PickNik   Solomon, líder en soluciones avanzadas de visión y robótica, es un colaborador temprano de Isaac Manipulator. Su sistema de recogida en cajas mejorado por Isaac Manipulator cuMotion entregó una planificación de trayectorias ocho veces más rápida y redujo los casos de singularidad en las trayectorias en un 50% en comparación con los algoritmos convencionales.

  Tabla 2. Mejoras en el rendimiento del sistema de selección de piezas de Solomon con Isaac Manipulator. Solomon experimentó mejoras significativas en la tasa de éxito, tiempo de movimiento, longitud de la trayectoria y tiempo de planificación, con reducciones en la ocurrencia de singularidades en la trayectoria. Datos proporcionados por Solomon

FoundationPose

FoundationPose es un nuevo modelo base unificado para la estimación y seguimiento de poses 6D en una sola toma de objetos novedosos. Este modelo está diseñado para trabajar con alta precisión en aplicaciones que enfrentan objetos previamente desconocidos, sin necesidad de ajuste fino.   FoundationPose actualmente encabeza el ranking de BOP 2023 para la localización en 6D de objetos no vistos anteriormente. Es robusto frente a oclusiones, movimientos rápidos y diversas propiedades de objetos, como textura y escala, garantizando un rendimiento confiable en diversos escenarios. Los desarrolladores pueden generar vistas realistas del objeto desde cualquier ángulo. Obtén el modelo FoundationPose en GitHub.  

Figura 6. Estimación y seguimiento de poses utilizando NVIDIA FoundationPose

SyntheticaDETR

SyntheticaDETR es un conjunto de modelos basados en DEtection TRansformer (DETRs) en tiempo real para la detección de objetos en una sola etapa en el espacio de imágenes, entrenados con datos sintéticos generados mediante NVIDIA Omniverse. Implementa un enfoque más eficiente que los detectores de objetos tradicionales al predecir todos los objetos a la vez utilizando una arquitectura de codificador-decodificador con transformadores.    

Figura 7. Detección y seguimiento de objetos usando SyntheticaDETR   Entrenado con datos sintéticos y del mundo real, SyntheticaDETR ocupa el primer lugar en la tabla de líderes de BOP para detección 2D de objetos conocidos en el conjunto de datos YCB-Video (con una precisión media promedio de 0.885 y un recall medio promedio de 0.903).   Estos modelos también pueden detectar objetos como una región de interés de caja delimitadora 2D para estimadores de pose como NVIDIA FoundationPose. Descarga el modelo SyntheticaDETR y descarga Isaac Manipulator.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 es compatible con JetPack 6.0 y es compatible con todos los módulos Jetson Orin de NVIDIA y los kits de desarrollo.   Los servicios modulares y basados en API para construir aplicaciones de IA generativa y robótica de manera más rápida y sencilla llegarán pronto con NVIDIA Jetson Platform Services. Estos servicios preconstruidos y personalizables están diseñados para acelerar el desarrollo de aplicaciones de IA en los sistemas en módulo NVIDIA Jetson Orin.

NVIDIA Isaac Sim 4.0

Con Isaac Sim, los desarrolladores pueden generar datos sintéticos y diversos entornos de prueba virtuales complejos con pruebas de sensores y tipos de robots líderes en la industria. Esto permite simulaciones altamente realistas para probar miles de robots simultáneamente en tiempo real.

Laboratorio NVIDIA Isaac

Isaac Lab es una aplicación de referencia liviana creada sobre la plataforma Isaac Sim y desempeña un papel fundamental en el entrenamiento de modelos base para robots. Admite aprendizaje por refuerzo, aprendizaje por imitación y aprendizaje por transferencia. Puede entrenar una amplia variedad de configuraciones de robots, permitiendo a los desarrolladores explorar diseños y funcionalidades.   Esto brinda facilidad de uso con la integración de VSCode junto con un verificador de compatibilidad, soporte para múltiples GPU en aprendizaje por refuerzo, mejoras de rendimiento con representación en mosaico de sensores RTX, manejo optimizado de caché y gestión de shaders.   Las características nuevas adicionales en Isaac Sim incluyen: