Arquitectura streamhouse: cómo construirla en IBM Confluent
Una arquitectura streamhouse captura, transporta, transforma, gestiona y sirve el estado actual de una empresa de forma continua, para que las aplicaciones en producción y los agentes de IA puedan actuar sobre él. La definición abierta publicada en septiembre de 2026 establece qué tiene que hacer un streamhouse, pero deja la construcción en manos de cada organización. Esta guía trata justo esa parte: los seis bloques de un streamhouse, cómo encajan en las etapas Connect, Stream, Process, Govern y Serve de IBM Confluent y en qué orden conviene montarlos.
Si el concepto es nuevo para ti, empieza por nuestra introducción al streamhouse y a sus tres principios: tiempo real, nativo de producción y descentralizado. Este artículo da por hecho que ya sabes qué es un streamhouse y quieres construir uno.
La arquitectura streamhouse de un vistazo
El Streamhouse Working Group define seis bloques. Cada uno tiene una función clara y, en la plataforma de data streaming de Confluent, que ahora forma parte de IBM, cada uno tiene un componente equivalente.
| Bloque | Función en la arquitectura | Etapa | Componente de IBM Confluent |
|---|---|---|---|
| Change data capture | Captura cada inserción, actualización y borrado en las bases de datos operativas en el momento en que ocurre | Connect | Conectores de origen CDC totalmente gestionados |
| Streams de eventos | Almacena y transporta los eventos de negocio de forma duradera y ordenada para cada consumidor | Stream | Apache Kafka |
| Procesamiento de streams | Combina, filtra y enriquece los eventos en vistas actualizadas del negocio | Process | Apache Flink y Flink SQL |
| Catálogos | Registra qué datos existen, qué significan, quién es responsable de ellos y hacia dónde fluyen | Govern | Stream Governance: Schema Registry, Stream Catalog, Stream Lineage |
| Tablas abiertas | Comparte los streams como tablas con lakehouses y motores de analítica | Serve | Tableflow, para Apache Iceberg y Delta Lake |
| Serving de baja latencia | Responde en tiempo real a las consultas de aplicaciones y agentes de IA | Serve | Real-Time Context Engine, API y SQL |
Las etapas siguen este orden en cada nuevo caso de uso, pero la arquitectura no es un pipeline que se construye una sola vez. Cada nueva fuente, vista o consumidor reutiliza lo que ya está en marcha, y así es como un streamhouse crece por toda la empresa sin un proyecto central de consolidación.
Paso 1: Empieza por una decisión que necesite datos actuales
El error más habitual es empezar por la plataforma. Un streamhouse construido para transmitirlo todo no tiene un primer cliente ni una forma de medir el éxito. Empieza por una decisión que tenga que tomarse a velocidad de máquina: aprobar un pago con tarjeta, cambiar la ruta de un envío, confirmar el stock de un pedido online o marcar un siniestro para revisión.
Para esa decisión, anota los hechos de los que depende, los sistemas que contienen esos hechos y lo actualizado que tiene que estar cada uno. La aprobación de un pago puede necesitar las transacciones recientes del cliente desde el sistema de core bancario, los datos del dispositivo desde la app móvil y las reglas de fraude vigentes. Esa lista define el alcance de los cinco pasos siguientes.
Elegir una sola decisión también te dice quién consume los datos. Si es un agente de IA, necesitarás serving de baja latencia. Si es un modelo de fraude que se reentrena cada semana, también necesitarás tablas abiertas. La mayoría de los primeros casos de uso necesitan ambas cosas.
Paso 2: Conecta las fuentes con change data capture
El change data capture (CDC) lee el log de transacciones de una base de datos y publica cada cambio como un evento. Es la forma menos invasiva de sacar datos actuales de los sistemas operativos, porque la aplicación de origen no cambia y la base de datos no recibe carga adicional de consultas.
Change data capture desde bases de datos operativas
Confluent Cloud ofrece conectores de origen CDC totalmente gestionados para bases de datos como Oracle y PostgreSQL. Están basados en Debezium y en el framework Kafka Connect, y escriben cada cambio a nivel de fila en un topic de Kafka. Como los conectores son gestionados, tu equipo los configura en lugar de operar y parchear la infraestructura de conectores.
Planifica la instantánea inicial. Cuando un conector CDC arranca, normalmente lee el contenido existente de la tabla antes de pasar a los cambios en directo, y eso puede llevar horas en tablas grandes. Prográmala y decide si los consumidores necesitan el historial completo o solo los cambios a partir de un momento concreto.
Conectores para aplicaciones, mainframes y colas de mensajes
No todas las fuentes son bases de datos que puedas leer. A las aplicaciones SaaS como Salesforce se accede mediante conectores que usan sus API. Los datos de mainframe de IBM Z suelen llegar a través de IBM MQ, al que Confluent se conecta directamente, o de una herramienta de replicación que publica los cambios en Kafka. Para cada fuente, elige la opción que capture los cambios en el momento en que ocurren. Un conector que consulta la fuente una vez por hora convierte de nuevo un streamhouse en un sistema por lotes.
Paso 3: Transmite los eventos con Apache Kafka
Cada cambio capturado llega a Apache Kafka, la capa de streaming de eventos del streamhouse. Kafka almacena los eventos de forma duradera y ordenada, y cualquier número de consumidores puede leer el mismo stream de forma independiente. Si quieres repasar los conceptos de topics, particiones y consumidores, consulta nuestra guía sobre Apache Kafka para el streaming de datos en tiempo real.
Aquí hay dos decisiones de diseño que pesan más que el resto. La primera es la responsabilidad. El principio de descentralización implica que cada dominio es dueño de sus streams: el equipo de pagos es responsable de los eventos de pago y el equipo de logística, de los eventos de envío. Trata cada topic importante como un producto de datos con un responsable identificado, un esquema documentado y un nivel de servicio acordado.
La segunda es la retención. Algunos topics guardan un historial de eventos, como cada pago realizado. Otros guardan el estado actual, como el último estado de cada pedido. Para el estado actual, la log compaction de Kafka conserva el valor más reciente de cada clave y descarta los anteriores, de modo que el topic sigue siendo pequeño y cualquier consumidor nuevo recibe la imagen actual completa.
Paso 4: Procesa los datos en movimiento con Apache Flink
Los eventos de cambio en bruto rara vez son lo que necesita una aplicación o un agente. La aprobación de un pago necesita la transacción combinada con el perfil del cliente y su actividad de los últimos 10 minutos. El procesamiento de streams con Apache Flink construye esas vistas de forma continua, a medida que llega cada evento, en lugar de hacerlo en un proceso nocturno.
En Confluent Cloud, Flink funciona como servicio gestionado y la mayoría de las transformaciones se pueden escribir en Flink SQL. Los jobs típicos filtran el ruido, combinan streams de distintos sistemas, enriquecen los eventos con datos de referencia y agregan la actividad por ventanas de tiempo. Cada job escribe su resultado en un nuevo topic de Kafka, que se convierte en otro stream gestionado que otros equipos pueden reutilizar.
Empieza por la vista que necesita tu primera decisión y mantén cada job lo bastante pequeño como para que su responsable pueda explicarlo. Nuestro artículo sobre stream processing explica los conceptos de base, como el estado, el tiempo y las ventanas.
Paso 5: Gestiona los datos en movimiento
La gestión es donde un streamhouse se gana la confianza. En cuanto las aplicaciones y los agentes actúan sobre los streams de forma automática, un evento mal formado o un campo expuesto se convierte en una incidencia de producción. Gestiona los datos mientras se mueven, en lugar de revisarlos cuando ya han llegado a algún sitio. La suite Stream Governance de Confluent cubre tres áreas.
Esquemas y contratos de datos
Schema Registry almacena el esquema de cada topic, en Avro, JSON Schema o Protobuf, y comprueba que los productores escriben datos que lo cumplen. Los contratos de datos amplían los esquemas con reglas de calidad y una forma acordada de evolucionar, de modo que un productor no pueda romper a sus consumidores renombrando un campo o enviando un valor vacío donde se exige uno válido.
Descubrimiento y linaje
Stream Catalog permite a los equipos clasificar, etiquetar y encontrar los streams que ya existen, así que un proyecto nuevo reutiliza el stream de pagos en lugar de construir otro. Stream Lineage muestra cómo fluyen los datos desde cada fuente, a través de los jobs de procesamiento, hasta sus consumidores, y eso te dice qué se verá afectado antes de cambiar nada.
Protección de los datos personales en tránsito
Los streams suelen transportar datos personales o regulados. El cifrado a nivel de campo en el lado del cliente cifra los campos sensibles antes de que salgan del productor, de modo que solo los consumidores autorizados pueden leerlos. Combínalo con controles de acceso en cada topic para que los agentes solo vean los datos sobre los que pueden actuar. Nuestra guía sobre stream governance explica estos controles con más detalle.
Paso 6: Sirve datos actuales a cada consumidor
La última etapa entrega el estado actual del negocio a los sistemas que lo usan. Un streamhouse sirve a dos tipos de consumidor: los motores de analítica que leen tablas y las aplicaciones y los agentes de IA que necesitan respuestas en milisegundos.
De Kafka a Iceberg con Tableflow
Tableflow materializa los topics de Kafka como tablas de Apache Iceberg o Delta Lake, sin un pipeline por lotes aparte. Publica esas tablas en catálogos, como su propio catálogo Iceberg REST, AWS Glue, Databricks Unity Catalog, Snowflake Open Catalog y Apache Polaris, para que los motores de consulta puedan encontrarlas y leerlas. Los lakehouses que leen Iceberg, como IBM watsonx.data, pueden consultar así tablas que se mantienen actualizadas a medida que llegan los eventos. Así es como un streamhouse mantiene fresco el lakehouse en lugar de sustituirlo, tal como explicamos en nuestra comparativa entre streamhouse y lakehouse.
Serving de baja latencia para aplicaciones y agentes de IA
Las aplicaciones pueden consumir directamente los topics de Kafka o consultar vistas mediante API y SQL. Para los agentes de IA, el Real-Time Context Engine de Confluent materializa los datos de los topics en tablas optimizadas para consultas rápidas y las expone a través del Model Context Protocol (MCP). Los agentes consultan los datos actuales mediante herramientas MCP sin conectarse ellos mismos a Kafka. Nuestro artículo sobre datos en tiempo real para agentes de IA explica por qué esto es importante para la IA agéntica en producción.
Llévalo a estándares de producción
El principio de nativo de producción implica que el streamhouse funciona con los mismos niveles de servicio que los sistemas que dependen de él. En cuanto tu primera decisión funciona con datos en directo, una caída de la capa de datos detiene esa decisión. Antes de pasar a producción, comprueba que tienes:
- Un modelo de despliegue que encaje con tus restricciones: Confluent Cloud como servicio gestionado o Confluent Platform en tu propia infraestructura, que comparamos en nuestra guía sobre Confluent Cloud vs. Kafka autogestionado
- Alta disponibilidad y recuperación ante desastres: clusters multizona y un plan probado para conmutar a otra región, por ejemplo con Cluster Linking
- Monitorización de la actualización de los datos, además de la disponibilidad: alertas sobre el lag de los consumidores y los fallos de los conectores, porque un pipeline que funciona puede seguir entregando datos desactualizados
- Responsabilidades claras: un responsable identificado y un nivel de servicio acordado para cada fuente, stream, job de procesamiento y endpoint de serving
- Revisiones de seguridad: controles de acceso, cifrado y registro de auditoría aprobados antes de que los agentes reciban permisos de escritura en cualquier sistema
Preguntas frecuentes
¿Cuáles son los componentes de una arquitectura streamhouse?
Una arquitectura streamhouse tiene seis bloques: change data capture, streams de eventos, procesamiento de streams, formatos de tabla abiertos, catálogos y serving de baja latencia. En IBM Confluent, corresponden a los conectores CDC, Apache Kafka, Apache Flink, Tableflow, Stream Governance y el Real-Time Context Engine, agrupados en las etapas Connect, Stream, Process, Govern y Serve.
¿Hace falta Confluent Cloud para construir un streamhouse?
No. El streamhouse es una arquitectura neutral respecto a los proveedores, y puedes construirlo con componentes open source, plataformas comerciales o una combinación de ambos. En IBM Confluent, puedes usar Confluent Cloud como servicio totalmente gestionado o Confluent Platform en tu propia infraestructura. Algunas funciones gestionadas, como Tableflow y el Real-Time Context Engine, son servicios de Confluent Cloud, así que comprueba su disponibilidad para tu modelo de despliegue.
¿Cómo se transmiten los datos de Kafka a Apache Iceberg?
En Confluent Cloud, activas Tableflow en un topic de Kafka, y Tableflow materializa el topic como una tabla de Apache Iceberg y la mantiene actualizada a medida que llegan nuevos eventos. Tableflow registra la tabla en un catálogo, como su catálogo Iceberg REST o AWS Glue, y los motores que leen Iceberg pueden consultarla. Sin Tableflow, lo habitual es usar un conector de destino o un job de Flink que escriba en Iceberg.
Cómo te ayuda Mimacom
Mimacom es IBM Silver Business Partner y cuenta con una larga trayectoria con Confluent y Apache Kafka. Nuestros equipos gestionan plataformas de streaming en producción para bancos, retailers, fabricantes y operadores de transporte. Ayudamos a nuestros clientes a elegir la primera decisión que llevar a datos en directo, a construir los conectores, los streams, el procesamiento y la gestión que necesita, y a entregar una plataforma que sus propios equipos puedan ampliar.
Construye tu streamhouse decisión a decisión
Los arquitectos de streaming de Mimacom te ayudan a planificar tu primer caso de uso de streamhouse sobre IBM Confluent y a construirlo con estándares de producción. Descubre nuestros servicios de consultoría de Confluent o contacta con nosotros para empezar.