Aplicaciones de muestra de Linux de Qualcomm: Bloques de construcción para inferencia de IA y video en aplicaciones de IoT
Para que los robots se conviertan en una parte más importante de nuestra sociedad, deben ser capaces de interactuar de manera inteligente con sus entornos dinámicos. Parte del desafío para lograr esto es integrar grandes cantidades de datos provenientes de numerosas cámaras y sensores. Bloques preescritos de software Linux® hacen que esta tarea sea más sencilla. Este artículo de Qualcomm explora aplicaciones de muestra para inferencia de IA y video en aplicaciones de IoT y robótica.
Transmisión multicámara
La aplicación de línea de comandos gst-multi-camera-example demuestra la transmisión simultánea desde dos sensores de cámara. Puede aplicar una composición lado a lado de las transmisiones de video para mostrarla en un dispositivo de pantalla o puede codificar y almacenar las transmisiones en archivos.
El flujo de la aplicación se ve así:
La aplicación admite dos configuraciones:
- Composición y visualización: el complemento qtimmfsrc en la cámara 0 y la cámara 1 captura los datos de los dos sensores de cámara. qtivcomposer realiza la composición y luego waylandsink muestra las secuencias en la pantalla, colocadas lado a lado.
- Codificación de video – El complemento qtimmfsrc en la cámara 0 y la cámara 1 captura los datos de los dos sensores de cámara y los pasa al complemento v4l2h264enc. Este complemento codifica y comprime las transmisiones de las cámaras al formato H.264, luego las transfiere para su análisis y multiplexación utilizando los complementos h264parse y mp4mux, respectivamente. Finalmente, las transmisiones se transfieren al complemento filesink, que las guarda como archivos.
Aquí hay un ejemplo del resultado de la primera configuración: La imagen del lado derecho es monocroma, ya que el segundo sensor de cámara en el kit de desarrollo es monocromo.
¿Cuándo usarías esta aplicación?
gst-multi-camera-example es un bloque de construcción para capturar datos de dos sensores de cámara, con opciones para componer y mostrar las transmisiones de video o codificar y almacenar las transmisiones en archivos. Puedes usar esta aplicación de muestra como base para tus propias aplicaciones de captura/codificación de cámaras, incluidas cámaras de tablero y cámaras estéreo.
Videowall – Decodificación y visualización de video multicanal
La aplicación de línea de comandos gst-concurrent-videoplay-composition facilita la decodificación y reproducción concurrente de videos codificados en AVC. La aplicación realiza la composición de múltiples flujos de video provenientes de archivos o de la red (por ejemplo, cámaras IP) para su visualización como un muro de video.
La aplicación puede tomar múltiples archivos de video (como 4 u 8) como entrada, decodificar todos los videos comprimidos, escalarlos y componerlos como una pared de video. La aplicación requiere al menos un archivo de video de entrada, en formato MP4 con un códec AVC.
El flujo de la aplicación se ve así para 4 canales:
Cada canal utiliza complementos para realizar el siguiente procesamiento:
- Lee datos de video comprimidos desde un archivo usando filesrc.
- Demultiplexa el archivo con qtdemux.
- Analiza flujos de video H.264 utilizando h264parse.
- Decodifica las secuencias utilizando v4l2h264dec.
Los flujos decodificados de todos los canales se componen juntos utilizando qtivcomposer y se muestran usando waylandsink.
Aquí tienes un ejemplo de cómo usar la aplicación gst-concurrent-videoplay-composition en 4 flujos de video:
¿Cuándo usarías esta aplicación?
Con gst-concurrent-videoplay-composition puedes decodificar múltiples transmisiones de video comprimido y luego componerlas en un muro de video; por ejemplo, en espacios comerciales y señalización digital. Como un dispositivo de borde para vigilancia por video, puedes capturar entradas de múltiples cámaras IP y mostrarlas en una sola pantalla. En una aplicación de videoconferencia, puedes procesar y mostrar transmisiones de múltiples participantes en la llamada, con cada participante emitiendo un video.
Próximos pasos
Puedes obtener esas aplicaciones o todo el SDK de Qualcomm Intelligent Multimedia en GitHub. Luego, puedes comenzar a incorporarlas en tus propias aplicaciones.
Etiquetas de artículo
