Streamhouse-Architektur: Aufbau auf IBM Confluent
Eine Streamhouse-Architektur erfasst, transportiert, transformiert, steuert und stellt den aktuellen Zustand eines Unternehmens kontinuierlich bereit, damit produktive Anwendungen und KI-Agenten darauf handeln können. Die im September 2026 veröffentlichte offene Definition legt fest, was ein Streamhouse leisten muss, überlässt den Aufbau aber jeder Organisation selbst. Dieser Leitfaden behandelt genau diesen Teil: die sechs Bausteine eines Streamhouse, ihre Zuordnung zu den Stufen Connect, Stream, Process, Govern und Serve von IBM Confluent und die Reihenfolge, in der Sie sie zusammensetzen.
Wenn das Konzept neu für Sie ist, beginnen Sie mit unserer Einführung in das Streamhouse und seine drei Prinzipien: Echtzeit, produktionsreif und dezentral. Dieser Artikel setzt voraus, dass Sie wissen, was ein Streamhouse ist, und eines aufbauen möchten.
Streamhouse-Architektur im Überblick
Die Streamhouse Working Group nennt sechs Bausteine. Jeder hat eine klare Aufgabe, und auf der Data-Streaming-Plattform von Confluent, inzwischen Teil von IBM, gibt es für jeden eine passende Komponente.
| Baustein | Aufgabe in der Architektur | Stufe | Komponente in IBM Confluent |
|---|---|---|---|
| Change Data Capture | Erfasst jedes Einfügen, Ändern und Löschen in operativen Datenbanken, sobald es geschieht | Connect | Vollständig verwaltete CDC-Konnektoren für Quellsysteme |
| Event-Streams | Speichert und transportiert Geschäftsereignisse dauerhaft und in der richtigen Reihenfolge für jeden Consumer | Stream | Apache Kafka |
| Stream Processing | Verknüpft, filtert und reichert Ereignisse zu aktuellen Sichten auf das Geschäft an | Process | Apache Flink und Flink SQL |
| Kataloge | Hält fest, welche Daten existieren, was sie bedeuten, wem sie gehören und wohin sie fliessen | Govern | Stream Governance: Schema Registry, Stream Catalog, Stream Lineage |
| Offene Tabellen | Stellt Streams als Tabellen für Lakehouses und Analytics-Engines bereit | Serve | Tableflow, für Apache Iceberg und Delta Lake |
| Bereitstellung mit niedriger Latenz | Beantwortet Abfragen von Anwendungen und KI-Agenten in Echtzeit | Serve | Real-Time Context Engine, APIs und SQL |
Für jeden neuen Anwendungsfall durchlaufen die Stufen diese Reihenfolge, doch die Architektur ist keine Pipeline, die Sie einmal bauen. Jede neue Quelle, jede neue Sicht und jeder neue Consumer nutzt, was bereits vorhanden ist. So wächst ein Streamhouse im ganzen Unternehmen, ohne dass es ein zentrales Konsolidierungsprojekt braucht.
Schritt 1: Mit einer Entscheidung beginnen, die aktuelle Daten braucht
Der häufigste Fehler ist, mit der Plattform zu beginnen. Ein Streamhouse, das gebaut wird, um alles zu streamen, hat keinen ersten Abnehmer und keinen Massstab für Erfolg. Beginnen Sie stattdessen mit einer Entscheidung, die in Maschinengeschwindigkeit fallen muss: eine Kartenzahlung freigeben, eine Lieferung umleiten, den Lagerbestand für eine Online-Bestellung bestätigen oder einen Schadensfall zur Prüfung markieren.
Halten Sie für diese Entscheidung fest, von welchen Fakten sie abhängt, welche Systeme diese Fakten enthalten und wie aktuell jeder einzelne sein muss. Eine Zahlungsfreigabe braucht zum Beispiel die jüngsten Transaktionen der Kundin oder des Kunden aus dem Kernbankensystem, die Gerätedaten aus der mobilen App und die aktuellen Betrugsregeln. Diese Liste bildet den Umfang für die nächsten fünf Schritte.
Mit der Wahl einer Entscheidung wissen Sie auch, wer die Daten nutzt. Ist es ein KI-Agent, brauchen Sie eine Bereitstellung mit niedriger Latenz. Ist es ein Betrugsmodell, das wöchentlich neu trainiert wird, brauchen Sie zusätzlich offene Tabellen. Die meisten ersten Anwendungsfälle brauchen beides.
Schritt 2: Quellen mit Change Data Capture anbinden
Change Data Capture (CDC) liest das Transaktions-Log einer Datenbank und veröffentlicht jede Änderung als Ereignis. Es ist der am wenigsten invasive Weg, aktuelle Daten aus operativen Systemen zu holen, denn die Quellanwendung bleibt unverändert und die Datenbank trägt keine zusätzliche Abfragelast.
Change Data Capture aus operativen Datenbanken
Confluent Cloud bietet vollständig verwaltete CDC-Konnektoren für Datenbanken wie Oracle und PostgreSQL. Sie basieren auf Debezium und dem Kafka Connect Framework und schreiben jede Änderung auf Zeilenebene in ein Kafka-Topic. Weil die Konnektoren verwaltet sind, konfiguriert Ihr Team sie nur, statt eine eigene Konnektor-Infrastruktur zu betreiben und zu patchen.
Berücksichtigen Sie den initialen Snapshot. Wenn ein CDC-Konnektor startet, liest er in der Regel zuerst den bestehenden Tabelleninhalt, bevor er auf Live-Änderungen umschaltet, und bei grossen Tabellen kann das Stunden dauern. Planen Sie diesen Schritt zeitlich ein und entscheiden Sie, ob die Consumer die vollständige Historie brauchen oder nur die Änderungen ab einem bestimmten Zeitpunkt.
Konnektoren für Anwendungen, Mainframes und Message Queues
Nicht jede Quelle ist eine Datenbank, die Sie direkt auslesen können. SaaS-Anwendungen wie Salesforce erreichen Sie über Konnektoren, die deren APIs nutzen. Mainframe-Daten von IBM Z kommen typischerweise über IBM MQ, das Confluent direkt anbindet, oder über ein Replikations-Tool, das Änderungen in Kafka veröffentlicht. Wählen Sie für jede Quelle die Option, die Änderungen erfasst, sobald sie stattfinden. Ein Konnektor, der nur einmal pro Stunde abfragt, macht aus einem Streamhouse wieder ein Batch-System.
Schritt 3: Ereignisse mit Apache Kafka streamen
Jede erfasste Änderung landet in Apache Kafka, der Event-Streaming-Schicht des Streamhouse. Kafka speichert Ereignisse dauerhaft und in der richtigen Reihenfolge, und beliebig viele Consumer können denselben Stream unabhängig voneinander lesen. Eine Einführung in Topics, Partitionen und Consumer finden Sie in unserem Leitfaden zu Apache Kafka für Echtzeit-Daten-Streaming.
Zwei Designentscheidungen sind hier am wichtigsten. Die erste betrifft die Verantwortung. Das Prinzip der Dezentralität bedeutet, dass jede Domäne ihre eigenen Streams verantwortet: Das Zahlungsteam verantwortet die Zahlungsereignisse, das Logistikteam die Lieferereignisse. Behandeln Sie jedes wichtige Topic als Datenprodukt mit einer festen verantwortlichen Person, einem dokumentierten Schema und einem vereinbarten Service-Level.
Die zweite betrifft die Aufbewahrung. Manche Topics enthalten eine Historie von Ereignissen, etwa jede jemals getätigte Zahlung. Andere enthalten den aktuellen Zustand, etwa den neuesten Status jeder Bestellung. Für den aktuellen Zustand behält die Log Compaction von Kafka den jeweils neuesten Wert pro Schlüssel und verwirft ältere Werte. So bleibt das Topic klein, und jeder neue Consumer erhält trotzdem das vollständige aktuelle Bild.
Schritt 4: Daten in Bewegung mit Apache Flink verarbeiten
Rohe Änderungsereignisse sind selten das, was eine Anwendung oder ein Agent braucht. Eine Zahlungsfreigabe braucht die Transaktion, verknüpft mit dem Profil der Kundin oder des Kunden und deren Aktivität der letzten 10 Minuten. Stream Processing mit Apache Flink baut diese Sichten kontinuierlich auf, sobald ein Ereignis eintrifft, statt in einem nächtlichen Job.
In Confluent Cloud läuft Flink als verwalteter Service, und die meisten Transformationen lassen sich in Flink SQL schreiben. Typische Jobs filtern Rauschen heraus, verknüpfen Streams aus verschiedenen Systemen, reichern Ereignisse mit Referenzdaten an und aggregieren Aktivitäten über Zeitfenster. Jeder Job schreibt sein Ergebnis in ein neues Kafka-Topic, das zu einem weiteren gesteuerten Stream wird, den andere Teams wiederverwenden können.
Beginnen Sie mit der Sicht, die Ihre erste Entscheidung braucht, und halten Sie jeden Job so klein, dass die verantwortliche Person ihn erklären kann. Unser Artikel zu Stream Processing behandelt die zugrunde liegenden Konzepte, darunter Zustand, Zeit und Zeitfenster.
Schritt 5: Daten in Bewegung steuern
Über die Governance gewinnt ein Streamhouse Vertrauen. Sobald Anwendungen und Agenten automatisch auf Basis von Streams handeln, wird ein fehlerhaftes Ereignis oder ein ungeschütztes Feld zum Produktionsvorfall. Steuern Sie die Daten, während sie sich bewegen, statt sie erst zu prüfen, nachdem sie irgendwo gelandet sind. Die Suite Stream Governance von Confluent deckt drei Bereiche ab.
Schemas und Data Contracts
Die Schema Registry speichert das Schema jedes Topics in Avro, JSON Schema oder Protobuf und prüft, ob Producer Daten schreiben, die diesem Schema entsprechen. Data Contracts erweitern Schemas um Regeln für die Datenqualität und einen vereinbarten Weg zur Weiterentwicklung. So legt ein Producer seine Consumer nicht lahm, nur weil er ein Feld umbenennt oder einen leeren Wert sendet, wo ein gültiger erforderlich ist.
Auffindbarkeit und Lineage
Mit Stream Catalog können Teams bestehende Streams klassifizieren, taggen und finden, sodass ein neues Projekt den vorhandenen Zahlungs-Stream wiederverwendet, statt einen zweiten aufzubauen. Stream Lineage zeigt, wie Daten von jeder Quelle über Verarbeitungs-Jobs bis zu ihren Consumern fliessen, und damit, was betroffen ist, bevor Sie etwas ändern.
Personenbezogene Daten während der Übertragung schützen
Streams enthalten oft personenbezogene oder regulierte Daten. Die clientseitige Verschlüsselung auf Feldebene (Client-Side Field Level Encryption) verschlüsselt sensible Felder, bevor sie den Producer verlassen, sodass nur berechtigte Consumer sie lesen können. Kombinieren Sie sie mit Zugriffskontrollen für jedes Topic, damit Agenten nur die Daten sehen, auf deren Basis sie handeln dürfen. Unser Leitfaden zu Stream Governance erklärt diese Kontrollen ausführlicher.
Schritt 6: Aktuelle Daten für jeden Consumer bereitstellen
Die letzte Stufe liefert den aktuellen Zustand des Unternehmens an die Systeme, die ihn nutzen. Ein Streamhouse bedient zwei Arten von Consumern: Analytics-Engines, die Tabellen lesen, sowie Anwendungen und KI-Agenten, die Antworten in Millisekunden brauchen.
Von Kafka zu Iceberg mit Tableflow
Tableflow stellt Kafka-Topics als Apache-Iceberg- oder Delta-Lake-Tabellen bereit, ohne separate Batch-Pipeline. Es veröffentlicht diese Tabellen in Katalogen, darunter der eigene Iceberg-REST-Katalog, AWS Glue, Databricks Unity Catalog, Snowflake Open Catalog und Apache Polaris, sodass Abfrage-Engines sie finden und lesen können. Lakehouses, die Iceberg lesen, etwa IBM watsonx.data, können dann Tabellen abfragen, die mit jedem eintreffenden Ereignis aktuell bleiben. So versorgt ein Streamhouse das Lakehouse mit aktuellen Daten, statt es zu ersetzen, wie unser Vergleich Streamhouse vs. Lakehouse zeigt.
Bereitstellung mit niedriger Latenz für Anwendungen und KI-Agenten
Anwendungen können Kafka-Topics direkt konsumieren oder Sichten über APIs und SQL abfragen. Für KI-Agenten materialisiert die Real-Time Context Engine von Confluent Topic-Daten in Tabellen, die für schnelle Abfragen optimiert sind, und stellt sie über das Model Context Protocol (MCP) bereit. Agenten fragen aktuelle Daten über MCP-Tools ab, ohne sich selbst mit Kafka zu verbinden. Unser Artikel zu Echtzeitdaten für KI-Agenten erklärt, warum das für Agentic AI im produktiven Einsatz wichtig ist.
Auf Produktionsniveau betreiben
Das Prinzip „produktionsreif“ bedeutet, dass das Streamhouse mit denselben Service-Levels läuft wie die Systeme, die davon abhängen. Sobald Ihre erste Entscheidung auf Live-Daten läuft, stoppt ein Ausfall in der Datenschicht diese Entscheidung. Prüfen Sie vor dem Livegang, ob Folgendes vorhanden ist:
- Ein Betriebsmodell, das zu Ihren Rahmenbedingungen passt: Confluent Cloud als verwalteter Service oder Confluent Platform auf Ihrer eigenen Infrastruktur, verglichen in unserem Leitfaden zu Confluent Cloud vs. Self-Hosted Kafka
- Hochverfügbarkeit und Disaster Recovery: Cluster über mehrere Zonen und ein getesteter Plan für den Failover in eine andere Region, zum Beispiel mit Cluster Linking
- Monitoring der Datenaktualität, nicht nur der Verfügbarkeit: Alarme bei Consumer Lag und Konnektorausfällen, denn eine laufende Pipeline kann trotzdem veraltete Daten liefern
- Klare Verantwortung: eine feste verantwortliche Person und ein vereinbartes Service-Level für jede Quelle, jeden Stream, jeden Verarbeitungs-Job und jeden Serving-Endpunkt
- Sicherheitsprüfungen: Zugriffskontrollen, Verschlüsselung und Audit-Logging, freigegeben, bevor Agenten Schreibzugriff auf ein System erhalten
FAQs
Aus welchen Komponenten besteht eine Streamhouse-Architektur?
Eine Streamhouse-Architektur besteht aus sechs Bausteinen: Change Data Capture, Event-Streams, Stream Processing, offenen Tabellenformaten, Katalogen und Bereitstellung mit niedriger Latenz. In IBM Confluent entsprechen diese den CDC-Konnektoren, Apache Kafka, Apache Flink, Tableflow, Stream Governance und der Real-Time Context Engine, gegliedert in die Stufen Connect, Stream, Process, Govern und Serve.
Brauchen Sie Confluent Cloud, um ein Streamhouse aufzubauen?
Nein. Das Streamhouse ist eine herstellerneutrale Architektur, und Sie können es mit Open-Source-Komponenten, kommerziellen Plattformen oder einer Kombination aus beiden aufbauen. Mit IBM Confluent können Sie Confluent Cloud als vollständig verwalteten Service nutzen oder Confluent Platform auf Ihrer eigenen Infrastruktur betreiben. Einige verwaltete Funktionen wie Tableflow und die Real-Time Context Engine sind Services von Confluent Cloud. Prüfen Sie daher die Verfügbarkeit für Ihr Betriebsmodell.
Wie streamen Sie Kafka-Daten in Apache Iceberg?
In Confluent Cloud aktivieren Sie Tableflow für ein Kafka-Topic. Tableflow stellt das Topic dann als Apache-Iceberg-Tabelle bereit und hält sie aktuell, während neue Ereignisse eintreffen. Tableflow registriert die Tabelle in einem Katalog wie dem eigenen Iceberg-REST-Katalog oder AWS Glue, und Engines, die Iceberg lesen, können sie abfragen. Ohne Tableflow ist der übliche Weg ein Sink-Konnektor oder ein Flink-Job, der in Iceberg schreibt.
Wie Mimacom Sie unterstützen kann
Mimacom ist IBM Silver Business Partner mit langjähriger Erfahrung mit Confluent und Apache Kafka. Unsere Teams betreiben Streaming-Plattformen in Produktion für Banken, Handelsunternehmen, Hersteller und Verkehrsbetriebe. Wir unterstützen Unternehmen dabei, die erste Entscheidung auszuwählen, die auf Live-Daten laufen soll, die dafür nötigen Konnektoren, Streams, Verarbeitungs-Jobs und Governance aufzubauen und eine Plattform zu übergeben, die ihre eigenen Teams erweitern können.
Bauen Sie Ihr Streamhouse Entscheidung für Entscheidung auf
Die Streaming-Architektinnen und -Architekten von Mimacom unterstützen Sie dabei, Ihren ersten Streamhouse-Anwendungsfall auf IBM Confluent zu planen und auf Produktionsniveau umzusetzen. Erfahren Sie mehr über unsere Confluent-Beratung oder kontaktieren Sie uns, um loszulegen.