새로운 NVIDIA Isaac Foundation 모델과 워크플로를 활용하여 로봇 애플리케이션을 생성, 설계 및 배포하십시오.

새로운 AI 개발 도구는 개발자가 로봇 개발을 가속화하도록 돕습니다. 여기에는 다음이 포함됩니다:

비디오 1. 세계 최고의 로봇 개발 리더들이 차세대 AI 기반 로봇의 연구, 개발 및 생산을 위해 NVIDIA Isaac을 채택하고 있습니다.   AMR(자율 이동 로봇)와 AGV(자동 안내 차량)는 조립 라인의 효율성, 자재 운반, 의료 물류에 필수적입니다. 이러한 로봇이 복잡하고 비구조적인 환경을 탐색함에 따라 주변 환경을 인지하고 반응하는 능력이 중요해졌습니다.   NVIDIA Isaac 로봇 운영 체제(ROS)를 기반으로 구축된 Isaac Perceptor는 원래 장비 제조업체(OEM), 화물 서비스 제공업체, 소프트웨어 공급업체 및 AMR 생태계를 지원하여 로봇 개발을 가속화할 수 있도록 지원합니다. 팀은 비구조적인 환경에서 성공적으로 이동하고 장애물을 회피할 수 있도록 모바일 로봇에 인지 기능을 장착할 수 있습니다.   Isaac Perceptor 초기 협력 파트너로는 ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo, Teradyne Robotics와 같은 창고/내부 물류업계의 선도 기업부터 자동차 제조업체, 산업용 로봇 제조업체 및 로봇 솔루션 제공업체가 포함되어 있습니다.

Isaac Perceptor의 주요 기능

Isaac Perceptor는 AI 기반 자율주행 모바일 로봇을 위한 멀티 카메라, 3D 서라운드 비전 기능을 제공합니다.

멀티 카메라 AI 기반 깊이 인식

Isaac Perceptor는 초당 16.5M 깊이 포인트를 카메라당 30Hz로 처리합니다. 스테레오 카메라에서 제공된 시간 동기화된 이미지 쌍에서 스테레오 시차를 계산하며, 이를 사용해 장면의 깊이 이미지 또는 포인트 클라우드를 생성합니다. 효율적인 반(半)지도 학습 심층 신경망(ESS DNN)은 DNN 기반의 스테레오 시차를 위한 GPU 가속 패키지를 제공합니다.  

그림 1. ESS DNN이 5m 거리에서 장애물을 감지하는 모습  

다중 카메라 시각 관성 측정항법

Isaac ROS Visual SLAM은 시각적 동시 위치 확인 및 지도 작성(VSLAM)과 시각적 위치 추정(VO)을 위한 ROS 2 패키지를 제공합니다. 이는 NVIDIA CUDA Visual SLAM (cuVSLAM) 라이브러리를 기반으로 하며, 특징이 적은 환경에서도 1% 미만의 번역 오류로 강력한 내비게이션을 제공합니다.   시각적 특징이 드문 환경이나 반복적인 패턴이 있는 환경에서 내비게이션은 VSLAM 솔루션이 직면하는 잘 알려진 과제입니다. 이는 여러 관점에서의 입력을 융합함으로써 완화될 수 있습니다. 최신 업데이트에서 cuVSLAM은 다수의 스테레오 카메라로부터 동시 시각 위치 추정을 통합했습니다.   테스트 결과 상당한 개선이 확인되었습니다. 로봇은 단일 카메라로는 25% 미만의 성공률을 보였던 반면, 다수의 카메라를 사용할 경우 내비게이션 목표를 꾸준히 달성했습니다.  

표 1. cuVSLAM과 FRVO, S-PTAM, 그리고 ORB-SLAM2의 성능 비교. cuVSLAM은 다중 카메라를 활용한 로봇 내비게이션에서 가속화된 성능을 보여줌.  

그림 2. 한 대의 카메라를 사용한 Isaac ROS Visual SLAM과 두 대 및 네 대의 카메라를 사용한 경우 비교  

실시간 다중 카메라 복셀 그리드 매핑

Isaac Perceptor의 핵심은 nvblox로, CUDA 가속 기반의 3D 재구성 라이브러리로 장애물을 최대 5미터 거리에서 식별하여 2D 비용 지도를 제공하며 이를 300ms 이내에 업데이트할 수 있습니다.   Isaac ROS nvblox는 ROS 2 패키지를 통해 3D 장면 재구성과 내비게이션을 위한 로컬 장애물 비용 지도 생성 기능을 제공합니다. 이 패키지는 고정된 환경뿐만 아니라 사람이나 이동 객체가 있는 장면에서도 사용할 수 있습니다.   이번 버전의 독특한 점은 최대 3개의 HAWK 카메라를 사용하여 약 270° 시야각을 제공함으로써 더 넓은 범위를 지원하는 멀티카메라 기능입니다.  

그림 3. Isaac ROS Nvblox를 사용한 Voxel 3D 재구성, 돌출 장애물의 재구성을 포함  

NVIDIA Nova Orin 개발 키트

이 개발 키트는 NVIDIA Jetson AGX Orin을 탑재하고 있으며, 최대 여섯 대의 카메라를 지원합니다. 여기에는 최대 세 대의 스테레오 카메라와 세 대의 어안 카메라가 포함되며, 카메라 간 지연 시간은 100마이크로초 미만입니다.   스테레오 카메라는 카메라당 2MP의 해상도를 가지고 있으며, 110X70의 시야각(FOV)을 지원합니다. 이는 3D 점유 그리드 매핑, 깊이 인식, 비주얼 오도메트리, 사람 탐지에 적합합니다. Isaac Perceptor를 사용하려면 Nova Orin 개발 키트를 Segway 또는 Leopard Imaging에서 구매하세요.   Isaac Perceptor는 이 개발 키트에서 최대 세 대의 스테레오 카메라를 지원하는 참조 그래프를 제공합니다. ROS 2 패키지와의 향상된 모듈성을 통해, 이 버전은 Nova Carter 참조 로봇에서 Nav2와의 통합 참조 기능도 특징으로 합니다.

카메라 및 센서와의 향상된 호환성

Isaac Perceptor는 카메라 및 센서 파트너와의 통합 지원을 강화합니다. Orbbec는 NVIDIA Isaac Perceptor 구성 요소와 Gemini 335L 카메라를 성공적으로 통합했습니다. 이 통합은 Isaac ROS Visual SLAM과 Nvblox를 사용하여 NVIDIA Jetson AGX Orin에서 시연되었습니다.   LIPS 또한 AE450 카메라를 Isaac Perceptor 구성 요소 Nvblox와 성공적으로 통합했습니다.

NVIDIA Isaac 매니퓰레이터

Isaac Manipulator는 NVIDIA 가속 라이브러리와 AI 모델을 이용한 워크플로우입니다. 이를 통해 개발자는 로봇 팔 또는 매니퓰레이터에 AI 가속을 적용할 수 있으며, 이러한 로봇은 환경을 매끄럽게 인지하고 이해하며 상호작용할 수 있습니다.   해당 기술의 기초 모델과 가속 라이브러리는 독립적인 모듈로 통합하거나 솔루션 개발 전반의 워크플로우로 사용할 수 있습니다. 독립적이고 모듈화된 구성 요소와 함께, 개발자는 Isaac Manipulator 구성 요소를 결합하여 전체적인 엔드 투 엔드 참조 통합을 제공하는 샘플 워크플로우(ROS 2 실행 스크립트)를 제공합니다.  

그림 4. NVIDIA 구성 요소(녹색)를 활용한 Isaac Manipulator 워크플로우 예제   Isaac Manipulator 초기 협력업체에는 로봇 개발 플랫폼 회사, OEM, 그리고 ISV/SI가 포함되며, 구체적으로 Intrinsic(Alphabet 회사), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention, 및 Yaskawa가 포함됩니다.  

Isaac Manipulator의 주요 기능

Isaac Manipulator는 로봇 팔 개발을 가속화하기 위한 AI 기능을 제공합니다.

빠른 경로 계획을 위한 cuMotion

이 GPU 가속 기반 모션 플래너는 사이클 시간을 줄이는 데 도움을 줍니다. cuMotion은 국제적인 커뮤니티가 개발하고 PickNik Robotics가 주도하는 오픈 소스 프로젝트인 MoveIt 2 모션 계획 프레임워크에 대한 플러그인으로 제공됩니다.   cuMotion은 여러 시드를 병렬로 사용해 궤적 최적화를 수행하며, 최적의 솔루션을 반환합니다.   MoveIt 2와 NVIDIA cuMotion 플러그인을 사용하는 UR10 로봇 팔의 움직임을 보여주는 GIF입니다.  

그림 5. NVIDIA cuMotion 플러그인과 PickNik의 MoveIt 2   첨단 비전 및 로봇 솔루션의 선두주자인 Solomon은 Isaac Manipulator의 초기 협력업체입니다. Isaac Manipulator cuMotion으로 강화된 그들의 빈 피킹 시스템은 기존 알고리즘에 비해 8배 더 빠른 경로 계획을 제공하고 경로 특이점 발생을 50% 줄였습니다.

  표 2. Isaac Manipulator를 활용한 솔로몬의 Bin Picking 시스템 성능 향상. 솔로몬은 성공률, 이동 시간, 궤적 길이, 계획 시간에서 상당한 개선을 경험했으며, 경로 상에서 특이점 발생이 감소했습니다. 데이터는 솔로몬에서 제공되었습니다.

파운데이션포즈

FoundationPose는 새로운 통합 기초 모델로, 한 번의 촬영으로 새로운 객체의 6D 자세 추정과 추적을 수행할 수 있습니다. 이 모델은 이전에 보지 못한 객체를 만나는 애플리케이션에서도 별도의 수정 없이 높은 정확도로 작동하도록 설계되었습니다.   FoundationPose는 현재 2023 BOP 리더보드에서 보지 못한 객체의 6D 위치 추정을 위해 최상위에 위치하고 있습니다. 이는 가림, 빠른 움직임, 텍스처나 크기 같은 다양한 객체 속성에 강인하며, 여러 시나리오에서 신뢰할 수 있는 성능을 제공합니다. 개발자는 객체를 어떤 각도에서든 실감 나는 뷰를 생성할 수 있습니다. GitHub에서 FoundationPose 모델을 받아보세요.  

그림 6. NVIDIA FoundationPose를 사용한 자세 추정 및 추적

합성적 DEPTR

SyntheticaDETR은 NVIDIA Omniverse를 사용하여 생성된 합성 데이터를 기반으로 훈련된 단발 이미지 공간 객체 감지를 위한 Real-Time DEtection TRansformer (DETRs)-기반 모델 세트입니다. 이 모델은 트랜스포머 인코더-디코더 아키텍처를 사용하여 모든 객체를 한 번에 예측함으로써 기존 객체 감지기보다 더 효율적인 접근 방식을 구현합니다.    

그림 7. SyntheticaDETR을 사용한 객체 감지 및 추적   합성 데이터와 실제 데이터로 학습된 SyntheticaDETR은 YCB-Video 데이터셋에서 관측된 객체에 대한 2D 감지에서 BOP 리더보드 상위에 위치하며, 평균 정밀도는 0.885, 평균 재현율은 0.903입니다.   이 모델은 또한 NVIDIA FoundationPose와 같은 자세 추정기를 위한 관심 영역으로 2D 경계 상자로 객체를 감지할 수 있습니다. SyntheticaDETR 모델을 다운로드하고 Isaac Manipulator를 다운로드하세요.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0은 JetPack 6.0과 호환되며 모든 NVIDIA Jetson Orin 모듈 및 개발 키트를 지원합니다.   NVIDIA Jetson 플랫폼 서비스와 함께 생성적 AI 및 로봇 애플리케이션을 더 빠르고 쉽게 구축할 수 있는 모듈형 API 기반 서비스가 곧 제공됩니다. 이러한 사전 구축되고 맞춤형 가능한 서비스는 NVIDIA Jetson Orin 시스템 온 모듈에서 AI 애플리케이션 개발을 가속화하도록 설계되었습니다.

NVIDIA 아이작 심 4.0

Isaac Sim을 사용하면 개발자는 업계 최고의 센서 및 로봇 유형 테스트를 통해 합성 데이터와 다양한 가상 복잡한 테스트 환경을 생성할 수 있습니다. 이를 통해 수천 대의 로봇을 실시간으로 동시에 테스트할 수 있는 매우 현실적인 시뮬레이션이 가능해집니다.

NVIDIA 아이작 랩

Isaac Lab은 Isaac Sim 플랫폼을 기반으로 구축된 경량 참조 응용 프로그램으로, 로봇 기초 모델 훈련에서 중요한 역할을 합니다. 이는 강화 학습, 모방 학습 및 전이 학습을 지원하며, 다양한 로봇 형태를 훈련할 수 있어 개발자가 디자인과 기능을 탐구할 수 있도록 합니다.
 
Isaac Lab은 VSCode 통합과 호환성 검사기를 통해 사용 편의성을 제공하며, 강화 학습을 위한 멀티-GPU 지원, RTX 센서 타일 랜더링으로 성능 개선, 최적화된 캐시와 셰이더 관리 기능을 제공합니다.
 
Isaac Sim의 추가 새로운 기능은 다음을 포함합니다: