新しいNVIDIA Isaac Foundationモデルとワークフローを使用して、ロボットアプリケーションを作成、設計、および展開する

新しいAI開発ツールは、開発者がロボティクスの開発を加速するのを支援します。これには以下が含まれます：

AMRやAGVは、組立ラインの効率化、物資の取り扱い、そして医療物流において重要な役割を果たしています。これらのロボットが複雑で非構造的な環境を移動する際、周囲を認識し反応する能力が欠かせません。
 
Isaac Perceptorは、NVIDIA Isaac Robot Operating System (ROS) を基盤としており、OEM、貨物サービスプロバイダー、ソフトウェアベンダー、そしてAMRエコシステムに対し、ロボティクスの開発を加速させる力を提供します。チームは、非構造的な環境での成功したナビゲーションや障害物回避を可能にする知覚能力をモバイルロボットに装備することができます。
 
Isaac Perceptor の初期コラボレーターには、倉庫業務/イントラロジスティクスの業界リーダーから、車メーカー、産業用ロボティクス製造企業、ロボティックソリューションプロバイダーまで含まれています。これにはArcBest、BYD Electronics、Gideon、KION、Kudan、idealworks、RGo、Teradyne Roboticsといった企業が含まれます。

Isaac Perceptorの主な特徴

Isaac Perceptorは、AIベースの自律移動ロボット向けにマルチカメラや3D周囲視覚機能を提供します。

マルチカメラAIベースの深度知覚

Isaac Perceptor は、30 Hz でカメラごとに毎秒 16.5M の深度ポイントを処理します。ステレオカメラから取得された時間同期済みの画像ペアからステレオ視差が計算され、シーンの深度画像または点群データを生成するために使用されます。効率的な半教師あり深層ニューラルネットワーク (ESS DNN) により、DNN ベースのステレオ視差のための GPU 加速パッケージが提供されます。  

マルチカメラ視覚慣性オドメトリ

Isaac ROS Visual SLAMは、視覚的同時位置特定およびマッピング（VSLAM）と視覚的オドメトリ（VO）のためのROS 2パッケージを提供します。これはNVIDIA CUDA Visual SLAM（cuVSLAM）ライブラリに基づいており、特徴の少ない環境でも1%未満の翻訳誤差で堅牢なナビゲーションを実現します。   視覚的な特徴が少ない環境や繰り返しパターンがある環境でのナビゲーションは、VSLAMソリューションにおいてよく知られた課題です。これは複数の視点からの入力を統合することで軽減することができます。最新の更新版では、cuVSLAMが複数のステレオカメラからの同時視覚オドメトリ推定を取り入れています。   私たちのテストでは顕著な改善が示されました。複数のカメラを使用することで、ロボットは一貫してナビゲーション目標を達成し、単一のカメラでは25%未満であったのに比べて、著しい向上が見られました。  

リアルタイム・マルチカメラ ボクセルグリッドマッピング

Isaac Perceptorの核となるのは、CUDA加速された3D再構成ライブラリnvbloxであり、最大5メートル先の障害物を特定し、2Dコストマップを提供、それを300ミリ秒未満で更新できます。
 
Isaac ROS nvbloxは、ナビゲーションのための3Dシーン再構成と局所障害物コストマップ生成のためのROS 2パッケージを提供します。このパッケージは、静止環境や人や移動物体のあるシーンで使用できます。
 
このバージョンのユニークな点は、最大3台のHAWKカメラを使用してカバー範囲を拡大する複数カメラサポートで、約270°の視野を提供することです。
 

NVIDIA Nova Orin 開発キット

このデベロッパーキットは、NVIDIA Jetson AGX Orin を搭載しており、最大6台のカメラをサポートします。そのうち最大3台はステレオカメラ、さらに3台は魚眼カメラに対応しており、カメラ間の遅延は100マイクロ秒未満です。   ステレオカメラは、1台あたり2MPの解像度を備えており、視野は110X70です。この仕様は、3D占有グリッドマッピング、奥行き認識、視覚オドメトリ、および人検出に適しています。Isaac Perceptor を使用するには、Segway または Leopard Imaging から Nova Orin デベロッパーキットを購入してください。   Isaac Perceptor には、このデベロッパーキットで最大3台のステレオカメラをサポートするリファレンスグラフが含まれています。ROS 2 パッケージとのモジュール性が向上したこのバージョンは、Nova Carter リファレンスロボットの Nav2 とのリファレンス統合も特徴としています。

カメラおよびセンサーとの互換性の向上

Isaac Perceptorは、カメラおよびセンサーのパートナーとの統合に対する強化されたサポートを提供します。OrbbecはそのGemini 335LカメラをNVIDIA Isaac Perceptorコンポーネントと正常に統合しました。この統合は、NVIDIA Jetson AGX Orin上でIsaac ROS Visual SLAMおよびNvbloxを使用して実証されています。
 
LIPSもまた、Isaac Perceptorコンポーネント、NvbloxとそのAE450カメラを正常に統合しました。

NVIDIA Isaac Manipulator

Isaac Manipulatorは、NVIDIAが加速したライブラリとAIモデルのワークフローです。これにより、開発者はロボットアームやマニピュレーターにAIによる加速をもたらし、環境をシームレスに認識し、理解し、そして対話することができます。
 
その基礎となるモデルと加速ライブラリは、ソリューション開発において独立したモジュールとして、またはワークフロー全体として統合することができます。独立したモジュール型のコンポーネントに加え、開発者にはIsaac Manipulatorコンポーネントを組み合わせたエンドツーエンドの参考統合となるサンプルワークフロー（ROS 2 ランチスクリプト）も提供されます。
 

Isaac Manipulator の初期のコラボレーターには、ロボット開発プラットフォーム企業、OEM、ISV/SI が含まれ、具体的には Intrinsic (Alphabet の関連会社)、Siemens、Solomon、Techman Robot、Teradyne Robotics、Vention、Yaskawa などがあります。

Isaac Manipulator の主な特長

Isaac Manipulatorは、ロボットアームの開発を加速するためにAI機能を提供します。

cuMotionによる迅速な経路計画

このGPUアクセラレーションを活用したモーションプランナーは、サイクルタイムの短縮に役立ちます。cuMotionは、国際的なコミュニティによって開発され、PickNik Roboticsが主導するオープンソースプロジェクトであるMoveIt 2モーションプランニングフレームワークのプラグインとして利用可能です。   cuMotionは複数のシードで並列に軌道最適化を実行し、最適なソリューションを返します。

Solomonは、先進的なビジョンおよびロボティックスソリューションのリーダーであり、Isaac Manipulatorの初期のコラボレーターです。同社のbin-pickingシステムは、Isaac ManipulatorのcuMotionによって強化され、従来のアルゴリズムと比較して経路計画が8倍速くなり、経路特異点の発生を50%削減しました。

FoundationPose

FoundationPoseは、未知のオブジェクトの単一ショットによる6Dポーズ推定および追跡のための新しい統合ファウンデーションモデルです。このモデルは、事前の調整なしで、高精度で動作し、未知のオブジェクトに遭遇するアプリケーションに対応するように設計されています。
 
FoundationPoseは現在、未知のオブジェクトの6Dローカライゼーションにおいて2023年のBOPリーダーボードのトップに位置しています。このモデルは、遮蔽、急速な動き、テクスチャやスケールといったオブジェクトの多様な特性に対してロバストであり、さまざまなシナリオにおいて信頼性の高いパフォーマンスを実現します。開発者は、オブジェクトを任意の角度からリアルなビューを生成することができます。FoundationPoseモデルをGitHubからダウンロードしてください。
 

SyntheticaDETR

SyntheticaDETRは、NVIDIA Omniverseを使用して生成された合成データで学習された単一ショット、画像空間オブジェクト検出用のReal-Time DEtection TRansformer（DETRs）ベースのモデルセットです。これにより、トランスフォーマーのエンコーダ-デコーダアーキテクチャを使用してすべてのオブジェクトを一度に予測することで、従来のオブジェクト検出器より効率的なアプローチが実現されます。

合成データと実世界データで訓練されたSyntheticaDETRは、YCB-Videoデータセットでの既知オブジェクトの2D検出において、平均適合率0.885および平均再現率0.903でBOPリーダーボードのトップに位置しています。   これらのモデルは、NVIDIA FoundationPoseのようなポーズ推定器のための2D境界ボックスの関心領域としてもオブジェクトを検出できます。SyntheticaDETRモデルをダウンロードし、Isaac Manipulatorもダウンロードしてください。

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0はJetPack 6.0と互換性があり、すべてのNVIDIA Jetson Orinモジュールおよび開発キットでサポートされています。   モジュール型でAPI駆動のサービスにより、生成的AIやロボティクスアプリケーションをより迅速かつ簡単に構築するためのNVIDIA Jetson Platform Servicesがまもなく登場します。これらの事前構築済みでカスタマイズ可能なサービスは、NVIDIA Jetson Orinシステムオンモジュール上でのAIアプリケーション開発を加速するよう設計されています。

NVIDIA Isaac Sim 4.0

Isaac Simを使用することで、開発者は業界をリードするセンサーおよびロボットタイプのテストを用いて、合成データや多様な仮想の複雑なテスト環境を生成できます。これにより、リアルタイムで数千台のロボットを同時にテストできる高度に現実的なシミュレーションが可能になります。

NVIDIA Isaac Lab

Isaac Lab は、Isaac Sim プラットフォーム上に構築された軽量なリファレンスアプリケーションであり、ロボット基盤モデルのトレーニングにおいて重要な役割を果たします。強化学習、模倣学習、および転移学習をサポートしています。開発者が設計や機能性を探索できるよう、幅広いロボット形態のトレーニングが可能です。   VSCode との統合や互換性チェッカーによる使いやすさ、強化学習のマルチGPUサポート、RTX センサータイルレンダリングによるパフォーマンス向上、最適化されたキャッシュおよびシェーダー管理が提供されます。   Isaac Sim のさらなる新機能には以下が含まれます：