¿Qué es el Stream Processing? Cómo funciona y casos de uso

Cada segundo, su empresa genera datos. Un cliente hace clic en "comprar". Un sensor detecta un pico de temperatura. Una transacción desencadena una comprobación de fraude. La cuestión no es si puede recopilar estos datos, sino si puede actuar sobre ellos antes de que pase el momento.

El procesamiento de flujos lo hace posible. En esta guía, explicamos qué es el procesamiento de flujos, cómo funciona, cuándo utilizarlo en lugar del procesamiento por lotes y qué marcos y casos de uso están impulsando su adopción en todos los sectores.

¿Qué es el Stream Processing?

El procesamiento de flujos es un paradigma de procesamiento de datos en el que los datos se analizan, transforman y actúan de forma continua a medida que se generan, en lugar de almacenarse primero y procesarse después. En lugar de acumular datos en un conjunto de datos y ejecutar trabajos periódicos con ellos, el procesamiento en flujo trata los datos como una secuencia infinita y ordenada de eventos, cada uno de los cuales se procesa en el momento en que llega.

Esto contrasta fundamentalmente con el procesamiento por lotes, en el que los datos se recopilan durante un periodo y se procesan a granel. Los sistemas de procesamiento de flujos están diseñados para manejar datos de gran velocidad y volumen con una latencia medida en milisegundos, lo que los hace esenciales para cualquier caso de uso en el que la puntualidad sea importante.

Procesamiento por eventos frente a microlotes

Dentro del procesamiento de flujos, existen dos modelos de ejecución principales:

Impulsado por eventos (verdadero streaming) procesa cada evento individualmente, en el momento en que llega. Frameworks como Apache Flink utilizan este modelo, consiguiendo una latencia inferior al milisegundo con fuertes garantías de consistencia. Esto es ideal para la detección de fraudes, alertas y decisiones en tiempo real, donde cada milisegundo cuenta.

El procesamiento de microlotes agrupa los eventos en lotes muy pequeños, que suelen procesarse cada pocos segundos, y ofrece resultados casi en tiempo real con un modelo de programación más sencillo. Apache Spark Structured Streaming utiliza este enfoque. Es una buena opción para los equipos que ya están familiarizados con Spark y que necesitan ampliar los procesos por lotes hacia el tiempo real.

El modelo adecuado depende de su tolerancia a la latencia. Si necesita respuestas en menos de un segundo, el streaming real es esencial. Si la latencia de unos segundos es aceptable, los microlotes ofrecen ventajas de simplicidad.

¿Cómo funciona el procesamiento en flujo?

Tubería central: fuente → proceso → sumidero

Una canalización de procesamiento en flujo sigue un patrón sencillo pero potente:

• Fuente: Los datos entran en la canalización desde productores de eventos: sensores IoT, registros de aplicaciones, interacciones de usuarios, fuentes de cambios de bases de datos (CDC) o corredores de mensajes como Apache Kafka.
• Procesamiento: El procesador de flujos aplica transformaciones en tiempo real: filtrado, enriquecimiento, agregación, unión de múltiples flujos, detección de patrones o activación de alertas.
• Sumidero: Los resultados procesados se envían a un destino: un panel de control, una base de datos, un microservicio posterior, un lago de datos o una API.

Este canal se ejecuta de forma continua, sin inicio ni parada programados. Mientras los datos fluyan, la canalización procesa y emite resultados.

Procesamiento sin estado frente a procesamiento con estado

Elprocesamiento sin estado trata cada evento de forma independiente. Un filtro que elimina registros no válidos, o una transformación que reformatea un campo, no necesitan recordar eventos anteriores. Estas operaciones son fáciles de implementar y escalar.

El procesamiento basado en el estado mantiene el contexto entre los eventos. Contar los eventos dentro de un intervalo de tiempo, detectar cuándo una secuencia de eventos coincide con un patrón o unir un flujo con un conjunto de datos de referencia son operaciones que requieren que el procesador recuerde lo que ha sucedido antes. El procesamiento por estados es más potente, pero requiere una gestión cuidadosa del almacenamiento de estados y tolerancia a fallos.

Procesamiento de flujos frente a procesamiento por lotes

En la práctica, las plataformas de datos modernas utilizan ambas. El procesamiento por lotes se encarga del análisis histórico y la formación de modelos; el procesamiento de flujos se ocupa de las decisiones en tiempo real y los casos de uso operativo.

Principales marcos de procesamiento de flujos

• Apache Flink: El estándar del sector para el procesamiento de flujos con estado y baja latencia. Excelente para el procesamiento de eventos complejos, detección de fraudes y ETL de flujo. Disponible gestionado a través de Confluent Cloud y AWS.
• Apache Kafka Streams: Una biblioteca ligera para crear aplicaciones de procesamiento de flujos que se ejecutan dentro de aplicaciones Java estándar, consumiendo desde y produciendo hacia Kafka. Ideal para una lógica de procesamiento más sencilla sin un clúster de procesamiento independiente.
• Apache Spark Structured Streaming: Extiende la API DataFrame de Spark a cargas de trabajo de streaming utilizando micro-batching. Ideal para equipos que ya han invertido en Spark o Databricks.
• ksqlDB: una capa SQL sobre Kafka que permite el procesamiento de flujos mediante la conocida sintaxis SQL. Ideal para equipos que desean potencia de flujo sin un modelo de programación complejo.
• Google Cloud Dataflow: Un servicio Apache Beam gestionado en GCP para el procesamiento unificado de lotes y flujos. Muy adecuado para arquitecturas nativas de GCP.

Arquitectura de procesamiento de flujos

Una arquitectura de procesamiento de flujos de producción suele incluir varias capas:

• Ingesta de eventos: Un corredor de mensajes distribuido (Kafka, Kinesis, Pub/Sub) almacena en búfer los eventos entrantes, desacoplando a los productores de los consumidores y proporcionando durabilidad y capacidad de reproducción.
• Procesador de flujos: Un motor de procesamiento (Flink, Kafka Streams, Spark) lee del corredor, aplica la lógica y escribe los resultados en el sumidero.
• Almacén de estado: Para las operaciones con estado, un backend de estado (RocksDB, Redis) almacena los resultados intermedios de los eventos.
• Capa de servicio: Los resultados se escriben en bases de datos, cuadros de mando o API donde las aplicaciones posteriores los consumen.
• Supervisión y observabilidad: Las métricas, la supervisión de retrasos y las alertas garantizan que la canalización funcione correctamente en todo momento.

Casos prácticos

Servicios financieros

La detección del fraude en tiempo real analiza los patrones de las transacciones a medida que se producen, marcando y bloqueando las actividades sospechosas antes de que se completen. Los sistemas de procesamiento de pagos utilizan el procesamiento de flujos para validar, enrutar y liquidar transacciones en milisegundos. Los sistemas contra el blanqueo de dinero controlan las secuencias de transacciones en las cuentas en tiempo real.

Fabricación

Los conductos de mantenimiento predictivo ingieren continuamente datos de los sensores de los equipos de producción, detectando anomalías que preceden a los fallos antes de que provoquen tiempos de inactividad. Los sistemas de control de calidad analizan el rendimiento de las máquinas en tiempo real y activan alertas o ajustes del proceso cuando las métricas se desvían de la tolerancia.

Venta al por menor

Los motores de personalización del comercio electrónico actualizan en tiempo real las recomendaciones de productos en función de la sesión de navegación actual. Los sistemas de inventario activan las órdenes de reposición en el momento en que las existencias superan un umbral. Los motores de precios dinámicos ajustan los precios en función de las señales de demanda en tiempo real.

Seguros

Las plataformas de seguros basadas en el uso ingieren continuamente datos telemáticos de vehículos conectados, calculando las puntuaciones de riesgo y las primas en función del comportamiento real al volante. Los procesos de tramitación de siniestros detectan y priorizan los siniestros de alto valor o sospechosos a medida que se presentan.

Sanidad

Los sistemas de monitorización de pacientes analizan los flujos de constantes vitales de los dispositivos conectados, activando alertas para el personal clínico cuando las lecturas indican un deterioro. Las plataformas médicas IoT procesan datos de dispositivos portátiles e implantes en tiempo real, lo que permite la monitorización remota de pacientes a gran escala.

Ventajas del procesamiento de flujos

• Información en tiempo real: Actúe sobre los datos mientras aún son procesables, antes de que se cierre la ventana de oportunidad.
• Reducción de los costes de almacenamiento: Procese y filtre los datos en tiempo real en lugar de almacenarlos para su posterior análisis por lotes.
• Agilidad operativa: Detecte y responda a los problemas (cortes, fraudes, fallos de calidad) en segundos en lugar de horas.
• Mejor experiencia del cliente: Personalice las interacciones y responda al comportamiento del cliente en el momento en que se produce.
• Arquitectura desacoplada: El streaming basado en eventos permite microservicios de acoplamiento flexible que se amplían de forma independiente.

Retos

• Eventos fuera de orden: Los eventos pueden llegar tarde o fuera de secuencia. Los procesadores de flujo deben manejar con cuidado la semántica de tiempo de evento frente a la de tiempo de procesamiento, utilizando marcas de agua para determinar cuándo se ha completado una ventana.
• Semántica "exactamente una vez": Garantizar que cada evento se procesa exactamente una vez (sin pérdidas ni duplicaciones) requiere un diseño cuidadoso en el productor, el intermediario y el procesador.
• Gestión del estado: El procesamiento de estados a gran escala requiere backends de estado duraderos y tolerantes a fallos, con puntos de control y recuperación eficientes.
• Complejidad operativa: La ejecución de canalizaciones de procesamiento de flujos en producción requiere una supervisión, un ajuste y una experiencia que no requieren los trabajos por lotes.
• Evolución del esquema: A medida que los formatos de los eventos cambian con el tiempo, la gestión de esquemas se vuelve crítica para evitar fallos en las canalizaciones.

¿Cómo empezar con el procesamiento de flujos?

Si está evaluando el procesamiento en flujo para su organización, el punto de partida práctico no es elegir un marco, sino identificar el caso de uso adecuado. Busque un proceso en su empresa en el que los datos lleguen continuamente, las decisiones se retrasen actualmente y una visión más rápida crearía un valor cuantificable.

A partir de ahí, evalúe su infraestructura actual. Si su organización ya utiliza Kafka o Confluent, añadir el procesamiento de flujos mediante Kafka Streams o el servicio Flink gestionado de Confluent es el siguiente paso natural. Si utiliza una pila nativa en la nube, el servicio de streaming gestionado del proveedor reduce significativamente la carga operativa.

El equipo de ingeniería de datos de Mimacom ayuda a organizaciones de servicios financieros, fabricación y sanidad a diseñar e implementar arquitecturas de procesamiento de flujos, desde la prueba de concepto hasta la producción. Como socio certificado de Confluent, aportamos una profunda experiencia en soluciones de streaming basadas en Kafka y Flink.

El procesamiento de flujos es clave para la arquitectura de datos moderna

El procesamiento de secuencias ya no es una capacidad especializada reservada a los hiperescaladores. A medida que los marcos de trabajo maduran y los servicios gestionados reducen las barreras operativas, el procesamiento de datos en tiempo real se está convirtiendo en un componente estándar de la arquitectura de datos moderna.

Las organizaciones que den el primer paso (incorporando información en tiempo real a la detección del fraude, la experiencia del cliente, la supervisión operativa y el mantenimiento predictivo) tendrán una ventaja estructural sobre las que sigan esperando el siguiente informe por lotes.

Preguntas frecuentes

¿Cuál es la diferencia entre el procesamiento de flujos y el procesamiento por lotes?

El procesamiento por lotes recopila datos durante un periodo y los procesa en bloque a intervalos programados, normalmente con una latencia medida en minutos u horas. El procesamiento por flujos analiza y actúa sobre los datos continuamente a medida que llegan, con una latencia medida en milisegundos. El procesamiento por lotes es más adecuado para el análisis histórico y la elaboración de informes; el procesamiento por flujos es esencial para las decisiones en tiempo real y los casos de uso operativo.

¿Cuáles son los marcos de procesamiento de flujos más populares?

Apache Flink y Apache Kafka Streams son los marcos de procesamiento de flujos más adoptados en entornos empresariales. Apache Spark Structured Streaming es popular entre los equipos de ingeniería de datos que ya utilizan Spark. ksqlDB ofrece una alternativa basada en SQL para los equipos que prefieren no escribir Java o Scala.

¿Cuándo debo utilizar el procesamiento en flujo en lugar del procesamiento por lotes?

Elija el procesamiento de flujos cuando la puntualidad sea fundamental: detección de fraudes, alertas en tiempo real, cuadros de mando en directo, personalización o supervisión operativa. El procesamiento por lotes sigue siendo la elección correcta para la elaboración de informes históricos, la formación de modelos y los casos de uso en los que la frescura de los datos de minutos u horas es aceptable.