RTAB-Map 및 ToF 카메라를 사용한 AMR의 자율 탐색

서론

탐색은 로봇 공학의 자율 탐색에서 중요한 측면입니다. 동시 위치추정 및 매핑(SLAM)은 로봇이 알려지지 않은 환경을 탐색하고 매핑할 수 있도록 해 주는 기본 기술입니다. 시각적 동시 위치추정 및 매핑, 일명 시각적 SLAM(VSLAM)은 로봇이 카메라의 시각적 입력을 사용하여 실시간으로 주변 환경을 매핑하고 자신의 위치를 추정(예: 주행 거리 측정)할 수 있는 특정 유형의 SLAM입니다. 이 기술은 화성 탐사선, 화성 헬리콥터, 지상 로봇, 수중 로봇, 진공 청소 로봇 등 다양한 응용 분야에 널리 사용되었습니다. 심도 이미지만 사용하는 자율 이동 로봇(AMR)의 자율 탐색을 위해 ToF(Time-of-Flight) 카메라가 RTAB-Map과 얼마나 잘 작동하는지 확인하기 위한 조사가 수행되었습니다. ToF 카메라는 적외선(IR) 이미지와 심도 이미지를 모두 캡처합니다. 심도 이미지는 3D 포인트 클라우드를 생성하는데 활용됩니다. 3D 포인트 클라우드 및 휠 주행 거리 측정은 RTAB-Map에서 AMR의 자율 탐색을 위해 수정된 주행 거리 측정 및 2D 점유 그리드 맵을 출력하는 데 사용됩니다.

ToF(Time of Flight) 카메라란 무엇일까요?

ToF 카메라는 ADSD3100 TOF 신호 프로세서를 기반으로 하는 Analog Devices 심도 카메라입니다. 호스트 컴퓨터에 대한 USB, 이더넷 또는 Wi-Fi 연결 외에도 임베디드 프로세서 플랫폼에서 데이터 처리를 지원합니다. ToF 카메라는 산업, 자동차, 소비자 응용 분야에서 사용하도록 설계되었습니다. 비행시간법을 사용해 현장에 있는 물체까지의 거리를 계산하여 정확한 심도 맵을 생성할 수 있습니다. ToF 카메라는 적외선(IR) 및 심도 이미지를 모두 제공하며 그림 1에 표현되어 있습니다.

RTAB-Map 아키텍처

실시간 모양 기반 매핑(RTAB-Map)은 그래프 기반 SLAM 기술입니다. RTAB-Map은 모양 기반 루프 폐쇄 감지기 접근 방식과 메모리 관리 접근 방식을 통합하여 대규모 및 장기 온라인 매핑을 처리합니다. 주행 거리 측정, 즉 AMR의 포즈는 RTAB-Map에 대한 외부 입력입니다. 따라서 휠 주행 거리 측정, 시각적 주행 거리 측정, ICP 주행 거리 측정을 비롯하여 특정 응용 분야에 적합한 모든 유형의 주행 거리 측정을 사용할 수 있습니다. RTAB-Map에서는 다음과 같은 네 가지 입력 구성을 활용할 수 있습니다.

• RGB 이미지, 심도 이미지, 주행 거리 측정
• 스테레오 이미지 및 주행 거리 측정
• 3D 포인트 클라우드 및 주행 거리 측정
• 2D 레이저 스캔 및 주행 거리 측정

그림 2는 RTAB-Map의 다양한 블록을 표현한 것입니다. 3D 포인트 클라우드 및 주행 거리 측정은 RTAB-Map이 사용 사례에 사용하는 입력입니다. 또한 2가지 입력 변환, 즉 odom에서 base_link로 변환, base_link에서 camera_link로 변환이 필요합니다. RTAB-Map은 odom 변환, 2D 점유 그리드 맵 및 수정된 주행 거리 측정에 대한 맵을 출력합니다. RTAB-Map 노드는 동기화, 단기 메모리(STM), 장기 메모리(LTM), 루프 폐쇄 및 근접 감지, 그래프 최적화, 글로벌 맵 조합 등의 블록으로 구성됩니다.

ToF 카메라를 사용한 RTAB-Map 및 Nav2 스택 파이프라인의 워크플로

rtabmap, ToF 카메라 및 휠-IMU 융합 주행 거리 측정을 사용하여 AMR의 자율 탐색을 수행하기 위한 전체 파이프라인은 그림 3과 같습니다. 휠-IMU 융합 주행 거리 측정은 확실한 주행 거리 측정을 확보하기 위해 확장 Kalman 필터를 사용하여 휠 인코더 데이터와 IMU 데이터를 융합해 얻습니다. 그림에 나와 있듯이 ToF 카메라 노드, image_proc 노드, 포인트 클라우드 노드, rtabmap 노드, 휠-IMU 융합 주행 거리 측정 노드, Nav2 노드, Rviz 노드의 7개 노드가 있습니다. 다음 단락에서는 이러한 노드의 기능을 설명합니다.

파이프라인의 첫 번째 노드는 IR 및 심도 이미지를 모두 캡처하는 ToF 카메라 노드입니다. 캡처된 이미지는 이후 image_proc 노드에 의해 보정되어 접선 및 방사형 왜곡을 제거합니다. 보정된 IR 이미지는 Rviz의 시각화에 사용됩니다. 포인트 클라우드 노드는 보정된 심도 이미지로 3D 포인트 클라우드를 생성합니다. 휠-IMU 융합 주행 거리 측정 노드는 휠 인코더와 IMU 데이터를 사용하여 AMR의 주행 거리 측정을 추정합니다. rtabmap 노드는 휠-IMU 융합 주행 거리 측정과 생성된 포인트 클라우드를 사용하여 2D 점유 그리드 맵과 수정된 주행 거리 측정(포즈)을 생성합니다. Nav2 노드는 생성된 점유 그리드 맵과 주행 거리 측정을 사용하여 AMR의 경로 계획 및 자율 탐색에 사용되는 비용 맵을 생성합니다. 마지막으로 Rviz 노드는 IR 이미지, 주행 거리 측정 및 점유 그리드 맵을 표시하는 시각화 도구로 사용됩니다. 또한 AMR의 목표 포즈를 설정할 수도 있습니다. 전반적으로 파이프라인은 다양한 센서와 노드를 결합하여 AMR의 자율 탐색을 실현합니다.

실험 결과에 대한 논의

그림 3은 AMR에 장착된 RealSense 카메라를 통해 보는 내용과 그 결과로 생성되는 3D 포인트 클라우드 맵을 메시로 보여 줍니다. 그림 4의 생성된 맵에는 주어진 목표 상태와 계획된 경로, 그리고 계획된 경로를 따라 목표 상태에 안전하게 도달하는 AMR이 표시되어 있습니다.

또한 ToF 카메라의 보정된 심도 이미지를 사용하여 생성된 포인트 클라우드는 현실 세계의 평평한 표면을 포인트 클라우드의 곡면으로 보여 줍니다. 따라서 이 문제를 해결하려면 후처리가 필요합니다. 그림 6은 포인트 클라우드 필터링 전과 포인트 클라우드 필터링 후 점유 그리드 맵을 보여 줍니다. 이 창의 파란색 선은 AMR의 예상 주행 거리 측정을 나타냅니다.

그림 7은 자율 탐색 프로세스의 다양한 단계를 보여 줍니다. 첫 번째 왼쪽 그림은 AMR의 현재 포즈로 생성된 맵을 보여 줍니다. 맵은 휠-IMU 융합 주행 거리 측정과 포인트 클라우드를 사용하여 rtabmap 노드에 의해 생성됩니다. 가운데 두 번째 그림은 계획된 경로와 함께 목표 위치를 나타냅니다. Rviz에서 목표 위치가 설정되면 Nav2 노드는 점유 그리드 맵과 주행 거리 측정 포즈에서 생성된 비용 맵을 사용하여 경로를 계획합니다. 시각화를 위해 계획된 경로가 Rviz에 표시됩니다. 마지막으로 오른쪽 세 번째 그림은 AMR이 목표 상태에 도달했음을 보여 줍니다. 경로가 계획되면 AMR은 수정된 주행 거리 측정 포즈와 비용 맵을 사용하여 목표 위치를 향해 이동합니다. AMR은 휠-IMU 융합 주행 거리 측정 및 점유 그리드 맵을 사용하여 위치를 지속적으로 업데이트하고 계획된 경로를 따르도록 궤적을 조정합니다. AMR이 목표 위치에 도달하면 멈추고 탐색 프로세스가 완료됩니다.

결론

ToF 카메라는 RTAB-Map 및 Nav2 스택에 통합되어 실험실 환경에서 AMR을 자율적으로 탐색합니다. AMR의 자율 탐색을 위해 RTAB-Map과 함께 ToF를 사용하는 동안 다양한 문제가 수면 위로 떠올랐습니다. ToF가 제공하는 IR 및 심도 이미지는 보정이 필요한데, 보정되지 않은 심도 이미지는 부정확한 맵으로 이어질 수 있기 때문입니다. 포인트 클라우드에서 평평한 물체가 곡선으로 보이는 것이 관찰되었으며, 이는 포인트 클라우드 후처리를 통해 해결되었습니다. RTAB-Map에 포인트 클라우드를 제공하기 전에 반드시 포인트 클라우드를 필터링해야 합니다. 동시에 AMR은 ToF 및 RTAB-Map 알고리즘의 심도 이미지를 사용하여 안전한 탐색을 위해 맵을 구축하고 맵에서 위치를 추정했습니다. 또한 ToF 카메라와 RTAB-Map을 사용한 AMR의 성공적인 자율 탐색이 확인되었습니다. 실험 결과를 근거로 했을 때 다양한 상업용 로봇 시스템에 대한 ToF 배포가 가속화될 것이라고 전망됩니다.