Noticias

SRIS procesa datos geoespaciales en tiempo real

Su innovadora arquitectura basada en GPUs es 72 veces más rápida y 12 veces más barata que la basada en CPUs

El reto de procesar datos geoespaciales en tiempo real

SRIS

Vista combinada de los emisores a temperaturas frías y cálidas

Los sistemas de información geográfica (GIS) son fundamentales para comprender el mundo. Hasta hace poco, era difícil imaginar la posibilidad de tener acceso a los datos geoespaciales en tiempo real. La capacidad del hombre de generar volúmenes ingentes de datos ha sobrepasado su capacidad para aprovechar la enorme cantidad de información que esos datos podrían proporcionar. Solo por poner un ejemplo, procesar los datos generados por emisores y sensores para detectar y rastrear la vida silvestre en lugares apartados del planeta representa un reto monumental que exige miles de millones de cálculos. Los datos fluyen sin cesar, y los sensores y emisores están en continuo movimiento, por no mencionar los cambios en el terreno y el clima, que pueden interferir en la obtención de esa información.

SRIS ha creado una innovadora arquitectura acelerada por las GPUs NVIDIA Tesla® para procesar cantidades enormes de datos en tiempo real. Srinivas Reddy, responsable tecnológico de la organización, explica así las razones del cambio: “Nos dimos cuenta de que la mejora de la capacidad de procesamiento de las GPUs hacía factible la obtención de los resultados que buscábamos. También observamos que, con el crecimiento exponencial de los datos, surge el problema de gestionar todo ese gigantesco volumen de información en un entorno distribuido basado en GPUs”. Esto llevó a SRIS a diseñar un sistema a medida para gestionar y procesar los flujos de datos en clusters de GPUs.

Ahorro de tiempo y costes con la aceleración en las GPUs frente a las CPUs

SRIS puso en marcha un cluster destinado a procesar datos geoespaciales en tiempo real. En él recibían datos de múltiples fuentes, realizaban los análisis necesarios y enviaban los resultados al servidor ESRI para su visualización. “La primera versión del sistema fue con una configuración de CPUs”, cuenta Reddy, y continúa diciendo: “El coste del sistema basado en CPUs fue de 1,2 millones de dólares y su tiempo de cálculo era de 3,6 minutos, lo que no nos proporcionaba resultados en tiempo real. La implantación del sistema acelerado con GPUs nos permitió reducir el coste del sistema a 100.000 dólares, es decir, 12 veces menos que el anterior, y la velocidad de cálculo a 9 segundos, una cifra muy cercana al tiempo real y 72 veces superior a la de las CPUs”.

Pero SRIS no se detuvo ahí. Hace poco mejoró su algoritmo de procesamiento GIS basado en CUDA y su técnica de carga de datos. Gracias a ello, ahora pueden procesar la información geoespacial en 0,0017 segundos utilizando la GPU NVIDIA K20, lo más cerca que se puede llegar al cálculo en tiempo real.

A fin de facilitar un flujo de datos también en tiempo real, SRIS eligió un entorno distribuido Storm y ejecutó el procesamiento y los cálculos geoespaciales en un cluster de GPUs Tesla K10 y Tesla K20. “Los algoritmos se han desarrollado en CUDA para realizar de forma más eficiente el procesamiento paralelo proporcionado por los clusters de GPUs. Utilizamos un cluster HyperDex para el almacenamiento y la recuperación de los datos de referencia porque incorpora una función de búsqueda extremadamente rápida”, continúa Reddy.

La organización desarrolló una plataforma denominada MonsterWave para administrar y procesar el enorme caudal de datos que llegaba a los clusters de GPUs. Según Reddy, MonsterWave les permite maximizar la velocidad y la capacidad de los clusters: “La plataforma programa y gestiona la cola de procesos en función del estado de las GPUs para obtener la máxima eficiencia”. En SRIS consideran que es la primera fórmula eficiente para acelerar el cálculo de datos geoespaciales en tiempo real con entidades y situaciones dinámicas. “Mediante este sistema, podemos recibir volúmenes ingentes de datos de múltiples fuentes, fusionarlas con otros datos de referencia, procesar el resultado con 18 algoritmos complejos, extraer la información relevante y presentarla ante los usuarios en cuestión de segundos. Tener la posibilidad de procesar los datos a esta velocidad permite a los usuarios tomar decisiones en unos plazos de tiempo que realmente marcan la diferencia”.

Un futuro brillante para aplicaciones de procesamiento en tiempo real basadas en GPUs

El equipo de SRIS ve un enorme potencial en esta nueva fórmula. Reddy concluye afirmando: “En la actualidad estamos trabajando en algoritmos de cálculo geoespacial para la GPU y desarrollando funciones para vincular bases de datos a estos procesadores. Esto permitirá a los sistemas de bases de datos y data warehouse aprovechar el potencial de los procesadores gráficos en este ámbito. Confiamos en poder alcanzar tiempos de respuesta de milisegundos al analizar información geoespacial concreta con las GPUs”.

SRIS