Crea, progetta e distribuisci applicazioni robotiche utilizzando i nuovi modelli e flussi di lavoro di NVIDIA Isaac Foundation.

Nuovi strumenti di sviluppo AI aiutano gli sviluppatori ad accelerare lo sviluppo della robotica. Questi includono:

Video 1. I leader mondiali nello sviluppo di robot stanno adottando NVIDIA Isaac per la ricerca, lo sviluppo e la produzione di robot di nuova generazione abilitati all'IA.   AMR e AGV sono fondamentali per l'efficienza delle linee di assemblaggio, la movimentazione dei materiali e la logistica sanitaria. Poiché questi robot navigano in ambienti complessi e non strutturati, la capacità di percepire e reagire all'ambiente circostante diventa essenziale.   Isaac Perceptor, basato sul Sistema Operativo per Robot NVIDIA Isaac (ROS), consente a produttori di apparecchiature originali (OEM), fornitori di servizi di trasporto, fornitori di software e all'ecosistema AMR di accelerare lo sviluppo per la robotica. I team possono dotare i robot mobili di capacità di percezione per navigazione efficace ed evitamento degli ostacoli in ambienti non strutturati.   I primi collaboratori di Isaac Perceptor includono leader del settore nel magazzinaggio/intralogistica, produttori di automobili, aziende di produzione di robotica industriale e fornitori di soluzioni robotiche, come ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo e Teradyne Robotics.

Caratteristiche principali di Isaac Perceptor

Isaac Perceptor offre funzionalità per fornire capacità di visione surround 3D multi-camera per robot mobili autonomi basati su AI.

Percezione della profondità basata su AI con multi-camera

Isaac Perceptor elabora 16,5 milioni di punti di profondità al secondo per ogni fotocamera a 30 Hz. La disparità stereo viene calcolata da una coppia di immagini sincronizzate nel tempo provenienti da una fotocamera stereo ed è utilizzata per generare un'immagine di profondità o una nuvola di punti per una scena. Una rete neurale profonda semi-supervisionata efficiente (ESS DNN) fornisce un pacchetto accelerato tramite GPU per la disparità stereo basata su DNN.  

Figura 1. Reti Neurali Profonde ESS che rilevano ostacoli a 5m  

Odometria visiva inerziale multi-camera

Isaac ROS Visual SLAM provides ROS 2 packages for visual simultaneous localization and mapping (VSLAM) and visual odometry (VO). This is based on the NVIDIA CUDA Visual SLAM (cuVSLAM) library and provides robust navigation with less than 1% translation error while navigating in featureless environments.
 
Navigating environments with sparse visual features or repetitive patterns presents a well-known challenge for VSLAM solutions. This can be mitigated by fusing input from multiple viewpoints. In the latest update, cuVSLAM incorporates concurrent visual odometry estimation from multiple stereo cameras.
 
Our testing indicated a marked improvement. Robots consistently achieved their navigation goals using multiple cameras, compared to less than 25% with a single camera.
 

Tabella 1. Confronto delle prestazioni di cuVSLAM con FRVO, S-PTAM e ORB-SLAM2. cuVSLAM mostra prestazioni accelerate nella navigazione robotica utilizzando più telecamere  

Figura 2. Isaac ROS Visual SLAM con una fotocamera rispetto a due fotocamere e poi quattro fotocamere  

Mappatura in tempo reale della griglia di voxel multi-camera

Al centro del Isaac Perceptor c'è nvblox, la libreria di ricostruzione 3D accelerata tramite CUDA che può identificare ostacoli fino a cinque metri di distanza per fornire una costmap 2D e aggiornarli in meno di 300 ms.   Isaac ROS nvblox offre pacchetti ROS 2 per la ricostruzione di scene 3D e la generazione di costmap degli ostacoli locali per la navigazione. Questo pacchetto può essere utilizzato in ambienti stazionari e scene con persone e oggetti mobili.   Ciò che rende unica questa versione è il supporto multi-camera per una copertura espansa utilizzando fino a tre telecamere HAWK, fornendo un campo visivo di circa 270°.  

Figura 3. Ricostruzione 3D dei voxel utilizzando Isaac ROS Nvblox, inclusa la ricostruzione di ostacoli sospesi  

Kit di Sviluppo NVIDIA Nova Orin

Questo kit di sviluppo, con il NVIDIA Jetson AGX Orin, supporta fino a sei telecamere, inclusi fino a tre stereo e tre telecamere fisheye, con una latenza intra-camera inferiore a 100 microsecondi.   Le telecamere stereo vantano una risoluzione di 2MP per telecamera, con un campo visivo di 110x70, adatte per la mappatura 3D delle griglie di occupazione, percezione della profondità, odometria visiva e rilevamento delle persone. Acquista un kit di sviluppo Nova Orin da Segway o Leopard Imaging per utilizzare Isaac Perceptor.   Isaac Perceptor dispone di un grafo di riferimento che supporta fino a tre telecamere stereo su questo kit di sviluppo. Con maggiore modularità grazie ai pacchetti ROS 2, questa versione include anche un'integrazione di riferimento con Nav2 sul robot di riferimento Nova Carter.

Compatibilità migliorata con fotocamere e sensori

Isaac Perceptor offre un supporto migliorato per l'integrazione con partner di telecamere e sensori. Orbbec ha integrato con successo la sua telecamera Gemini 335L con i componenti di NVIDIA Isaac Perceptor. Questa integrazione è stata dimostrata su NVIDIA Jetson AGX Orin utilizzando Isaac ROS Visual SLAM e Nvblox.   Anche LIPS ha integrato con successo la sua telecamera AE450 con il componente Isaac Perceptor, Nvblox.

NVIDIA Isaac Manipulator

Isaac Manipulator è un flusso di lavoro composto da librerie accelerate NVIDIA e modelli di IA. Permette agli sviluppatori di utilizzare l'accelerazione dell'IA per bracci robotici, o manipolatori, che possono percepire, comprendere e interagire senza problemi con i loro ambienti.   I suoi modelli di base e le librerie accelerate possono essere integrati come moduli indipendenti o come un flusso di lavoro completo nello sviluppo di soluzioni. Oltre ai componenti modulari indipendenti, agli sviluppatori vengono forniti flussi di lavoro di esempio (script di lancio ROS 2) che combinano i componenti di Isaac Manipulator per una completa integrazione di riferimento end-to-end.  

Figura 4. Un esempio di un flusso di lavoro di Isaac Manipulator che sfrutta i componenti NVIDIA (in verde)   I primi collaboratori di Isaac Manipulator includono aziende di piattaforme per sviluppatori robotici, OEM e ISV/SI, tra cui Intrinsic (una società di Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention e Yaskawa.  

Caratteristiche principali di Isaac Manipulator

Isaac Manipulator introduce funzionalità di IA per accelerare lo sviluppo dei bracci robotici.

cuMotion per una pianificazione del percorso più rapida

Questo pianificatore di movimento accelerato da GPU aiuta a ridurre i tempi di ciclo. cuMotion è disponibile come plugin per il framework di pianificazione del movimento MoveIt 2, un progetto open-source sviluppato da una comunità internazionale e guidato da PickNik Robotics.   cuMotion esegue l'ottimizzazione della traiettoria su diversi punti di partenza in parallelo e restituisce la soluzione migliore.   Una GIF che mostra un braccio robot UR10 in movimento utilizzando il plugin NVIDIA cuMotion con MoveIt 2.  

Figura 5. Plugin NVIDIA cuMotion per MoveIt 2 di PickNik   Solomon, leader nelle soluzioni avanzate di visione e robotica, è un collaboratore precoce di Isaac Manipulator. Il loro sistema di bin-picking, migliorato con Isaac Manipulator cuMotion, ha fornito una pianificazione del percorso otto volte più veloce e ha ridotto le occorrenze di singolarità del percorso del 50% rispetto agli algoritmi tradizionali.

  Tabella 2. Miglioramenti delle prestazioni nel sistema di Bin Picking di Solomon con Isaac Manipulator. Solomon ha registrato notevoli miglioramenti nel tasso di successo, tempo di movimento, lunghezza della traiettoria e tempo di pianificazione, con una riduzione delle occorrenze di singolarità del percorso. Dati forniti da Solomon

FoundationPose

FoundationPose è un nuovo modello di base unificato per la stima e il tracciamento della posa 6D a singolo scatto di oggetti nuovi. Questo modello è progettato per funzionare con alta precisione in applicazioni che incontrano oggetti precedentemente non visti, senza necessità di ottimizzazione.   FoundationPose è attualmente al primo posto nella classifica BOP 2023 per la localizzazione 6D di oggetti sconosciuti. È robusto rispetto a occultamenti, movimenti rapidi e a diverse proprietà degli oggetti, come texture e scala, garantendo prestazioni affidabili in vari scenari. Gli sviluppatori possono generare viste realistiche dell'oggetto da qualsiasi angolazione. Scarica il modello FoundationPose da GitHub.  

Figura 6. Stima della posa e tracciamento utilizzando NVIDIA FoundationPose

SyntheticaDETR

SyntheticaDETR è un insieme di modelli basati su DEtection TRansformer (DETRs) in tempo reale per il rilevamento di oggetti in immagini a singolo scatto, addestrati su dati sintetici generati utilizzando NVIDIA Omniverse. Implementa un approccio più efficiente rispetto ai rilevatori di oggetti tradizionali, prevedendo tutti gli oggetti contemporaneamente attraverso un'architettura encoder-decoder a transformer.    

Figura 7. Rilevazione e tracciamento di oggetti utilizzando SyntheticaDETR   Addestrato su dati sintetici e reali, SyntheticaDETR si trova al vertice della classifica BOP per il rilevamento 2D di oggetti già visti nel dataset YCB-Video (con una precisione media pari a 0.885 e un richiamo medio pari a 0.903).   Questi modelli possono anche rilevare oggetti come una regione di interesse delimitata da un box 2D per stimatori di posa come NVIDIA FoundationPose. Scarica il modello SyntheticaDETR e scarica Isaac Manipulator.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 è compatibile con JetPack 6.0 e supportato su tutti i moduli e kit di sviluppo NVIDIA Jetson Orin.   Servizi modulari e basati su API per creare applicazioni di AI generativa e robotica in modo più veloce e semplice arriveranno presto con NVIDIA Jetson Platform Services. Questi servizi predefiniti e personalizzabili sono progettati per accelerare lo sviluppo di applicazioni AI sui system-on-modules NVIDIA Jetson Orin.

NVIDIA Isaac Sim 4.0

Utilizzando Isaac Sim, gli sviluppatori possono generare dati sintetici e ambienti di test virtuali complessi e diversificati con test avanzati di sensori e robot. Questo consente simulazioni altamente realistiche per testare migliaia di robot simultaneamente in tempo reale.

Laboratorio NVIDIA Isaac

Isaac Lab è un'applicazione di riferimento leggera costruita sulla piattaforma Isaac Sim e svolge un ruolo centrale nell'addestramento dei modelli fondamentali per i robot. Supporta l'apprendimento per rinforzo, l'apprendimento per imitazione e l'apprendimento per trasferimento. Può addestrare una vasta gamma di configurazioni robotiche, offrendo agli sviluppatori l'opportunità di esplorare design e funzionalità.   Questo garantisce facilità d'uso grazie all'integrazione con VSCode con un checker di compatibilità, supporto multi-GPU per l'apprendimento per rinforzo, miglioramenti delle prestazioni grazie al rendering del sensore RTX con tassellatura, gestione ottimizzata della cache e degli shader.   Le nuove funzionalità aggiuntive di Isaac Sim includono: