퀄컴 Linux 샘플 앱 – AI 객체 감지 및 병렬 AI 융합
이 기사에서는 Qualcomm Intelligent Multimedia SDK에서 실시간 스트리밍 객체 감지 및 병렬 센서 융합 기능에 대해 알아봅니다.
자율 드론이 내비게이션 능력에 영향을 미치는 지속적으로 변화하는 변수들 때문에 강력한 AI 처리가 의사결정에 사용됩니다. 이러한 AI 제어 기능은 매우 복잡하기 때문에 구현이 어렵게 느껴질 수 있습니다. 하지만 Qualcomm의 Linux 기반 샘플 애플리케이션은 제품 개발자들에게 시장 진입까지의 시간을 단축시키는 더 빠른 경로를 제공합니다. 이 글에서는 Qualcomm Intelligent Multimedia SDK에 포함된 라이브 스트림 객체 탐지 및 병렬 센서 융합 기능에 대해 알아봅니다. 지난번에는 Qualcomm Intelligent Multimedia SDK의 두 가지 빌딩 블록 샘플 애플리케이션에 대해 설명드렸습니다. 이 SDK는 Qualcomm® Linux® 소프트웨어를 기반으로 하며, 한 번 작성하면 여러 IoT 시스템 온 칩(SoC)에 사용 가능한 배포판입니다. 이번 포스트에서는 SDK에 포함된 22개의 샘플 애플리케이션 중 두 가지를 더 탐구하여 IoT 칩셋용 애플리케이션을 작성할 수 있는 방법을 보여드리겠습니다.
AI를 통해 보기: 실시간 객체 감지
이 명령줄 애플리케이션, gst-ai-object-detection은 카메라에서 실시간 비디오 스트림을 받아 오픈소스 YOLO (You Only Look Once) AI 모델에 전달하여 객체 감지를 수행합니다. 이 애플리케이션은 전용 하드웨어 블록에서 전처리 및 AI 추론을 통해 YOLOV5, YOLOV8 또는 YOLO-Nas를 실행하며, 이를 위해 Snapdragon Neural Processing SDK를 사용합니다. 이후 모델에 기반한 라벨 및 경계 상자 같은 출력값이 오버레이된 프리뷰를 표시합니다. 애플리케이션의 파이프라인은 다음과 같습니다:
qtiqmmfsrc – 이 gstreamer 플러그인을 사용하여 애플리케이션은 카메라 라이브 스트림을 캡처한 후 tee를 사용하여 스트림을 분리합니다.
qtimlvconverter – 이 전처리 플러그인은 스트림 데이터에 대해 색상 변환, 다운스케일링/업스케일링 및 정규화와 같은 작업을 수행합니다. 이를 통해 비디오 스트림을 이후 추론을 위해 텐서 스트림으로 변환합니다.
qtimlsnpe – 이 머신 러닝 추론 플러그인은 스트림에서 객체를 감지하기 위해 YOLO-Nas(기본값), YOLOV8 또는 YOLOV5를 적용합니다. 이는 CPU, GPU 및 DSP 기반 신경 처리 장치(NPU) 하드웨어에서 Snapdragon Neural Processing 런타임을 실행합니다.
SNPE 런타임은 텐서 스트림에 대해 추론을 수행하고 추론 결과를 포함한 텐서 스트림을 생성합니다.
qtimlvdetection – 후처리를 위해 이 플러그인은 원하는 결과 수에 임계값을 적용합니다. YOLO-Nas 모듈을 로드하여 후처리를 수행하며, 오버레이를 위해 경계 상자만 포함된 비디오 프레임을 생성하고 해당 프레임을 동영상 구성에 전달합니다.
qtivcomposer – 이 플러그인은 라이브 카메라 스트림의 프레임 위에 경계 상자와 라벨이 포함된 프레임을 오버레이한 후, 결합된 레이어가 포함된 gst 버퍼를 전달합니다.
Waylandsink은 수신된 비디오 스트림을 Weston에 제출하며, Weston은 해당 비디오 스트림을 로컬 디스플레이에 렌더링합니다.
카메라 스트림에서 사람을 감지하기 위해 gst-ai-object-detection을 사용하는 예시입니다:
이 애플리케이션은 언제 사용하시겠습니까?
gst-ai-object-detection에는 수십 개의 클래스를 포함하고 있어 사람, 차량, 동물 등과 같은 객체를 감지하고 카메라 프레임에서 위치를 찾는 자체 애플리케이션을 구축할 수 있습니다. 예로는 헬멧, 화재/연기, 침입자 감지가 포함됩니다.
병렬 AI 융합: 라이브 카메라에서 네 가지 AI 추론
이 명령줄 애플리케이션, gst-ai-parallel-inference는 위의 단일 채널 애플리케이션을 확장하여 전용 하드웨어 블록에서 AI 모델의 4채널 병렬 처리를 수행합니다. 객체 탐지 외에도 분류, 포즈 탐지 및 분할 기능이 추가되며, 모든 모델의 출력이 오버레이로 적용된 실시간 카메라 스트림을 축소하여 구성된 미리보기를 표시합니다. 애플리케이션 파이프라인은 아래에 표시된 대로 각 AI 추론을 위한 별도의 흐름을 포함하며, 위의 파이프라인 변형입니다:
qtiqmmfsrc – 이 gstreamer 플러그인을 사용하여 애플리케이션은 카메라 라이브 스트림을 캡처한 다음, tee를 사용하여 네 개의 병렬 스트림을 생성합니다.
qtimlvconverter – 이 전처리 플러그인은 스트림 데이터에 대해 색상 변환, 다운/업스케일링 및 정규화를 수행합니다. 영상 스트림을 추론을 위해 나중에 사용할 텐서 스트림으로 변환합니다.
qtimlsnpe – 이 머신 러닝 추론 플러그인은 객체 감지를 위해 YOLO-Nas를 적용하고 DeepLabv3 를 이미지 분할에 사용합니다. 이 플러그인은 Snapdragon Neural Processing 런타임을 CPU 기반 하드웨어에서 실행합니다.
qtimltflite – 이 플러그인은 PoseNet 을 활용하여 자세 감지를 수행하고 Inception V3를 사용하여 객체 분류를 실행합니다. 이 플러그인은 CPU, GPU, 및 DSP 기반 신경처리장치(NPU) 하드웨어에서 TFLite 런타임을 실행합니다.
후처리는 각 모델마다 다른 플러그인을 사용합니다.
qtimlvdetection – 객체 감지를 위해 이 플러그인은 원하는 결과 수에 대한 임계값을 적용합니다. YOLO-Nas 후처리 모듈을 로드하며, 바운딩 박스만 포함된 비디오 프레임을 생성하여 오버레이 용도로 사용하고, 그런 다음 이 프레임을 비디오 구성에 전달합니다.
qtimlvclassification – 분류를 위해 이 플러그인은 원하는 결과 수에 임계값을 적용합니다. Inception V3 후처리 모듈을 로드하여 분류 레이블을 포함한 비디오 프레임(오버레이용)을 생성하고, 이러한 프레임을 비디오 컴포지션에 넘깁니다.
qtimlvpose – 자세 추정(Pose Estimation)을 위해 이 플러그인은 원하는 결과 수에 대한 임계값을 적용합니다. 다양한 자세 추정 모델을 위한 모듈을 로드할 수 있는 기능을 갖추고 있습니다. 이 사용 사례에서는 PoseNet 모듈을 로드하고, 포즈가 그려진(오버레이용) 비디오 프레임을 생성한 다음, 비디오 합성을 위해 프레임을 전달합니다.
qtimlvsegmentation – 세분화를 위해 이 플러그인은 수신된 추론 텐서를 이후 멀티미디어 플러그인이 이해할 수 있는 비디오 형식으로 변환합니다.
qtivcomposer – 이 플러그인은 AI 모델의 프레임을 실시간 카메라 스트림의 프레임 위에 오버레이한 후, 결합된 레이어가 포함된 gst 버퍼를 전달합니다.
Waylandsink은 수신된 비디오 스트림을 Weston에 제출하여, Weston이 로컬 디스플레이에 비디오 스트림을 렌더링합니다.
여기 gst-ai-parallel-inference에서 렌더링된 비디오 스트림의 예시가 있습니다:
이 애플리케이션을 언제 사용하시겠습니까?
gst-ai-object-detection의 상위 집합으로서 gst-ai-parallel-inference는 카메라 프레임에서 사람, 차량, 동물과 기타 물체 – 심지어 연기와 불까지도 감지할 수 있게 합니다. 자세 감지(pose detection)를 통해, 예를 들어, 사람이 누워 있는지, 앉아 있는지, 서 있는지, 혹은 넘어졌는지를 판단할 수 있습니다. 체육관 트레이너나 요가 강사는 자세 감지를 이용하여 학생이 올바르게 자세를 취하고 있는지 확인할 수 있습니다. 인간공학 애플리케이션은 의자나 책상에서 올바른 자세를 유지하도록 관찰하고 알림을 줄 수 있습니다. 분류 앱의 활용 시나리오로는 제품 분류가 있으며, 세분화(segmentation)의 경우 제조, 의료 및 물류 분야에서 활용할 수 있습니다.
다음 단계
이것들은 Qualcomm Linux를 선보이기 위해 우리가 개발한 두 개의 더 흥미로운 애플리케이션입니다. 이 애플리케이션들과 전체 Qualcomm Intelligent Multimedia SDK 는 오픈 소스를 통해 제공되며, AI와 멀티미디어를 위한 20개의 추가 애플리케이션도 포함되어 있습니다. 이를 활용해 여러분의 애플리케이션에 통합하기 시작할 수 있습니다. Qualcomm Linux는 동일한 소스 코드를 사용하여 여러 IoT 칩셋에서 실행될 수 있도록 설계되었습니다. Qualcomm Intelligent Multimedia SDK는 카메라, 인공지능, 오디오를 포함한 멀티미디어 서브시스템 전체를 API를 통해 개발자에게 공개한 첫 번째 사례입니다. 우리가 오픈 소스에 더 많은 것을 제공하면서, 여러분은 이를 맞춤화하고, 시도하고, 기여할 수 있습니다. 이는 우리가 Linux에서 실행되는 IoT 애플리케이션에서 원하는 맞춤화를 개발하기 쉽게 만들어주는 개발자 우선 사고방식의 큰 진전입니다.
기사 태그
