Erstellen, entwerfen und implementieren Sie Robotikanwendungen mit den neuen NVIDIA Isaac Foundation-Modellen und -Workflows.

Neue KI-Entwicklungstools helfen Entwicklern, die Robotikentwicklung zu beschleunigen. Dazu gehören:

Video 1. Die weltweit führenden Unternehmen in der Roboterentwicklung setzen NVIDIA Isaac für Forschung, Entwicklung und Produktion der nächsten Generation von KI-fähigen Robotern ein.   AMRs (Autonome Mobile Roboter) und AGVs (Automatisierte Führenlose Fahrzeuge) sind entscheidend für die Effizienz von Montagelinien, Materialtransport und Logistik im Gesundheitswesen. Da sich diese Roboter durch komplexe und unstrukturierte Umgebungen bewegen, wird die Fähigkeit, ihre Umgebung wahrzunehmen und darauf zu reagieren, unerlässlich.   Isaac Perceptor, aufgebaut auf dem NVIDIA Isaac Robot Operating System (ROS), befähigt Originalgerätehersteller (OEMs), Frachtserviceanbieter, Softwareanbieter und das AMR-Ökosystem, die Entwicklung in der Robotik zu beschleunigen. Teams können mobile Roboter mit Wahrnehmungsfähigkeiten ausstatten, um erfolgreiche Navigation und Hindernisvermeidung in unstrukturierten Umgebungen zu gewährleisten.   Zu den frühen Partnern von Isaac Perceptor gehören Branchenführer in Lagerhaltung/Intralogistik, Automobilhersteller, industrielle Robotikhersteller und Anbieter von Robotiklösungen wie ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo und Teradyne Robotics.

Hauptmerkmale von Isaac Perceptor

Isaac Perceptor bietet Funktionen zur Bereitstellung von Multi-Kamera-, 3D-Rundumsicht-Fähigkeiten für KI-basierte autonome mobile Roboter.

KI-basierte Tiefenwahrnehmung mit mehreren Kameras

Isaac Perceptor verarbeitet 16,5 Millionen Tiefenpunkte pro Sekunde pro Kamera bei 30 Hz. Die Stereo-Disparität wird aus einem zeitlich synchronisierten Bildpaar berechnet, das von einer Stereo-Kamera stammt, und wird verwendet, um ein Tiefenbild oder eine Punktwolke für eine Szene zu erzeugen. Ein effizientes halbüberwachtes Deep Neural Network (ESS DNN) bietet ein GPU-beschleunigtes Paket für DNN-basierte Stereo-Disparität.  

Abbildung 1. ESS DNN erkennt Hindernisse in 5m Entfernung  

Visuelle inertiale Odometrie mit mehreren Kameras

Isaac ROS Visual SLAM bietet ROS-2-Pakete für visuelle gleichzeitige Lokalisierung und Kartierung (VSLAM) sowie visuelle Odometrie (VO). Dies basiert auf der NVIDIA CUDA Visual SLAM (cuVSLAM)-Bibliothek und ermöglicht eine robuste Navigation mit weniger als 1 % Translationsfehler beim Navigieren in merkmalsarmen Umgebungen.   Das Navigieren in Umgebungen mit spärlichen visuellen Merkmalen oder sich wiederholenden Mustern stellt eine bekannte Herausforderung für VSLAM-Lösungen dar. Dies kann durch die Fusion von Eingaben aus mehreren Blickwinkeln gemildert werden. Mit dem neuesten Update integriert cuVSLAM die gleichzeitige visuelle Odometrie-Schätzung aus mehreren Stereo-Kameras.   Unsere Tests zeigten eine deutliche Verbesserung. Roboter erreichten ihre Navigationsziele konsistent mit mehreren Kameras, verglichen mit weniger als 25 % bei Verwendung einer einzigen Kamera.  

Tabelle 1. Leistungsvergleich von cuVSLAM mit FRVO, S-PTAM und ORB-SLAM2. cuVSLAM zeigt eine beschleunigte Leistung in der Roboternavigation unter Verwendung mehrerer Kameras.  

Abbildung 2. Isaac ROS Visual SLAM mit einer Kamera im Vergleich zu zwei Kameras und anschließend vier Kameras  

Echtzeit-Mapping von Voxel-Gittern mit mehreren Kameras

Im Kern des Isaac Perceptor befindet sich nvblox, die CUDA-beschleunigte 3D-Rekonstruktionsbibliothek, die Hindernisse in bis zu fünf Metern Entfernung identifizieren kann, um einen 2D-Kostenplan zu erstellen und diesen in weniger als 300 ms zu aktualisieren.   Isaac ROS nvblox stellt ROS-2-Pakete für die 3D-Szenenrekonstruktion und die Erstellung lokaler Hinderniskostenpläne für die Navigation bereit. Dieses Paket kann sowohl für stationäre Umgebungen als auch für Szenen mit Personen und mobilen Objekten verwendet werden.   Das Besondere an dieser Version ist die Unterstützung mehrerer Kameras, die eine erweiterte Abdeckung mit bis zu drei HAWK-Kameras ermöglicht und etwa ein 270° Sichtfeld bietet.  

Abbildung 3. Voxel-3D-Rekonstruktion mit Isaac ROS Nvblox, einschließlich der Rekonstruktion überhängender Hindernisse  

NVIDIA Nova Orin Entwickler-Kit

Dieses Entwicklerkit, ausgestattet mit dem NVIDIA Jetson AGX Orin, unterstützt bis zu sechs Kameras, darunter bis zu drei Stereo- und drei Fischaugenkameras, mit einer inneren Kameralatenz von unter 100 Mikrosekunden.   Die Stereo-Kameras bieten eine Auflösung von 2 MP pro Kamera, mit einem Sichtfeld von 110X70, ideal für die Erstellung von 3D-Belegungsgitterkarten, Tiefenwahrnehmung, visuelle Odometrie und Personenerkennung. Kaufen Sie ein Nova Orin Entwicklerkit von Segway oder Leopard Imaging, um Isaac Perceptor zu nutzen.   Isaac Perceptor verfügt über einen Referenzgraphen, der bis zu drei Stereo-Kameras auf diesem Entwicklerkit unterstützt. Mit verbesserter Modularität durch ROS 2 Pakete bietet diese Version auch eine Referenzintegration mit Nav2 auf dem Nova Carter Referenzroboter.

Erhöhte Kompatibilität mit Kameras und Sensoren

Isaac Perceptor bietet erweiterte Unterstützung für die Integration mit Kamera- und Sensorpartnern. Orbbec hat erfolgreich seine Gemini 335L-Kamera mit den NVIDIA Isaac Perceptor-Komponenten integriert. Diese Integration wird auf dem NVIDIA Jetson AGX Orin mithilfe von Isaac ROS Visual SLAM und Nvblox demonstriert.   LIPS hat ebenfalls erfolgreich seine AE450-Kamera mit der Isaac Perceptor-Komponente Nvblox integriert.

NVIDIA Isaac-Manipulator

Isaac Manipulator ist ein Workflow aus NVIDIA-beschleunigten Bibliotheken und KI-Modellen. Er ermöglicht es Entwicklern, KI-Beschleunigung in Roboterarme oder Manipulatoren zu integrieren, die ihre Umgebung nahtlos wahrnehmen, verstehen und mit ihr interagieren können.   Seine Basis-Modelle und beschleunigten Bibliotheken können entweder als unabhängige Module oder als gesamter Workflow zur Lösungsentwicklung integriert werden. Zusätzlich zu den unabhängigen, modularen Komponenten erhalten Entwickler auch Beispiel-Workflows (ROS 2-Startscripts), die Isaac Manipulator-Komponenten für eine vollständige End-to-End-Referenzintegration kombinieren.  

Abbildung 4. Ein Beispiel für einen Workflow eines Isaac-Manipulators, der NVIDIA-Komponenten (in grün) nutzt.   Zu den frühen Kollaborateuren des Isaac-Manipulators gehören Unternehmen aus den Bereichen Roboter-Entwicklerplattformen, OEMs und ISVs/SIs, darunter Intrinsic (ein Alphabet-Unternehmen), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention und Yaskawa.  

Hauptmerkmale des Isaac Manipulators

Isaac Manipulator bringt KI-Funktionen, um die Entwicklung von Roboterarmen zu beschleunigen.

cuMotion für schnellere Wegplanung

Dieser GPU-beschleunigte Bewegungsplaner hilft, Zykluszeiten zu reduzieren. cuMotion ist als Plugin für das Bewegungsplanungs-Framework MoveIt 2 verfügbar, ein Open-Source-Projekt, das von einer internationalen Gemeinschaft entwickelt und von PickNik Robotics geleitet wird.   cuMotion führt die Trajektorienoptimierung parallel über mehrere Startpunkte aus und liefert die beste Lösung.   Ein GIF, das einen UR10-Roboterarm in Bewegung zeigt, der das NVIDIA cuMotion-Plugin mit MoveIt2 verwendet.  

Abbildung 5. NVIDIA cuMotion-Plugin für PickNiks MoveIt 2   Solomon, ein führendes Unternehmen für fortschrittliche Bildverarbeitungs- und Robotiklösungen, ist ein früher Partner von Isaac Manipulator. Ihr durch Isaac Manipulator cuMotion verbessertes Bin-Picking-System lieferte eine achtmal schnellere Pfadplanung und reduzierte das Auftreten von Pfadsingularitäten um 50 % im Vergleich zu herkömmlichen Algorithmen.

  Tabelle 2. Leistungsverbesserungen im Solomon Bin Picking System mit Isaac Manipulator. Solomon verzeichnete erhebliche Verbesserungen bei der Erfolgsrate, der Bewegungszeit, der Trajektorienlänge und der Planungszeit sowie eine Verringerung der Häufigkeit von Bahn-Singularitäten. Daten bereitgestellt von Solomon

GrundlagePose

FoundationPose ist ein neues einheitliches Foundation-Modell für die Single-Shot-6D-Pose-Schätzung und -Verfolgung von neuen Objekten. Dieses Modell wurde entwickelt, um mit hoher Genauigkeit in Anwendungen zu arbeiten, die auf zuvor unbekannte Objekte treffen, ohne zusätzliches Fine-Tuning.   FoundationPose führt aktuell die 2023 BOP-Bestenliste für die 6D-Lokalisierung unbekannter Objekte an. Es ist widerstandsfähig gegenüber Verdeckungen, schnellen Bewegungen und vielfältigen Objekteigenschaften wie Textur und Größe und gewährleistet zuverlässige Leistung in unterschiedlichen Szenarien. Entwickler können realistische Ansichten des Objekts aus jedem Winkel generieren. Holen Sie sich das FoundationPose-Modell von GitHub.  

Abbildung 6. Haltungsschätzung und -verfolgung mit NVIDIA FoundationPose

SyntheticaDETR

SyntheticaDETR ist eine Sammlung von Echtzeit-DEtection-TRansformer (DETRs)-basierten Modellen für Single-Shot-Objekterkennung im Bildraum, die auf synthetischen Daten trainiert wurden, die mit NVIDIA Omniverse generiert wurden. Es implementiert einen effizienteren Ansatz gegenüber traditionellen Objekterkennungsmodellen, indem alle Objekte gleichzeitig mithilfe einer Transformer-Encoder-Decoder-Architektur vorhergesagt werden.    

Abbildung 7. Objekterkennung und -verfolgung mit SyntheticaDETR   Trainiert auf synthetischen und realen Daten, steht SyntheticaDETR an der Spitze der BOP-Bestenliste für die 2D-Erkennung bekannter Objekte im YCB-Video-Datensatz (mit einer mittleren durchschnittlichen Präzision von 0,885 und einem mittleren durchschnittlichen Rückruf von 0,903).   Diese Modelle können Objekte auch als 2D-Ausschnitt-Konturen (Bounding-Box) für Pose-Schätzer wie NVIDIA FoundationPose erkennen. Laden Sie das SyntheticaDETR-Modell herunter und laden Sie Isaac Manipulator herunter.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 ist kompatibel mit JetPack 6.0 und wird auf allen NVIDIA Jetson Orin Modulen und Entwickler-Kits unterstützt.
 
Modulare, API-gesteuerte Dienste, um generative KI- und Robotikanwendungen schneller und einfacher zu entwickeln, kommen bald mit NVIDIA Jetson Platform Services. Diese vorgefertigten und anpassbaren Dienste sind darauf ausgelegt, die Entwicklung von KI-Anwendungen auf NVIDIA Jetson Orin System-on-Modules zu beschleunigen.

NVIDIA Isaac Sim 4.0

Mit Isaac Sim können Entwickler synthetische Daten sowie vielseitige, virtuelle komplexe Testumgebungen mit branchenführenden Sensoren und Robotertyp-Tests erstellen. Dies ermöglicht hochrealistische Simulationen für das gleichzeitige Testen von Tausenden von Robotern in Echtzeit.

NVIDIA Isaac Lab

Isaac Lab ist eine leichte Referenzanwendung, die auf der Isaac Sim-Plattform basiert und eine zentrale Rolle bei der Ausbildung von Roboter-Grundlagenmodellen spielt. Es unterstützt Verstärkungslernen, Imitationslernen und Transferlernen. Es kann eine Vielzahl von Roboterkörpern trainieren, sodass Entwickler Design und Funktionalitäten erkunden können.   Dies bietet Benutzerfreundlichkeit mit der VSCode-Integration und einem Kompatibilitätsprüfer, Multi-GPU-Unterstützung für Verstärkungslernen, Leistungsverbesserungen durch RTX-Sensor-Kachel-Rendering sowie optimiertes Cache- und Shader-Management.   Zusätzlich wurden in Isaac Sim neue Funktionen eingeführt: