Von der Analyseplattform zum KI-Betriebssystem: Data Lakehouse im Zeitalter der agentischen KI
Die Lakehouse-Architektur wurde mit dem Ziel entwickelt, die unstrukturierte Datenmenge des Data Lake mit der strukturierten Leistung des Data Warehouse zu kombinieren. Durch diese Umstellung wurden die Unternehmensdaten vereinheitlicht und die erste wahre „Single-Source-of-Truth“ geschaffen. Doch im Jahr 2026 wurde die Mission erweitert. Mit dem Eintritt in das Zeitalter der agentischen KI entwickelt sich das Lakehouse von einem Repository für rückblickende Berichte zur Unterstützung der Entscheidungsfindung zu einer leistungsstarken Kontextebene, die autonome Unternehmensagenten mit autonomem und sofortigem Handeln befähigt. Die offene, flexible und zuverlässige Grundlage wird durch Interoperabilität, Echtzeit-Datenverarbeitung, Sicherheit, Governance, cloudübergreifende und On-Premises-Portabilität sowie integrierte KI-Automatisierungen für alle administrativen und operativen Funktionen erweitert.
Bei Cloudera erleben wir einen grundlegenden Wandel in der Art und Weise, wie Führungskräfte der Fortune 2000-Unternehmen ihre Datenbestände betrachten. Der Druck entsteht durch die Notwendigkeit, die autonomen KI-Agenten effizient zu versorgen. Sie nutzen Cloudera Lakehouse, um strukturierte, semistrukturierte und unstrukturierte Daten zu vereinen und so eine Modelloptimierung in nahezu Echtzeit sowie Inferenz in Echtzeit ohne Datentransfer und ohne ETL-Prozesse zu ermöglichen. Das Lakehouse ermöglicht RAG-Pipelines, KI-Feature-Stores und Streaming-Pipelines in Echtzeit und liefert Governance-Frameworks, semantische Kontextebenen und operative Intelligenz für Unternehmensagenten.
Die Entwicklung des Data Lakehouse
Interoperabilität: Die „Consolidation-First“-Falle überwinden
Im Zeitalter der KI sind Ihre Daten Ihr größter Wettbewerbsvorteil. Es ist also nur richtig, dass Ihre Datenstrategie festlegt, welches Tool Sie verwenden oder wo Sie Ihre KI trainieren und einsetzen – und nicht umgekehrt. Viele Anbieter setzen jedoch nach wie vor auf ein „Consolidation-First“-Modell, bei dem Sie Ihre Daten zunächst in deren proprietäre Governance- oder Cloud-Umgebung verschieben oder kopieren müssen, bevor Sie sie nutzen können. Dies führt nicht nur zu zusätzlichen Kosten, Komplexität und Risiken für Ihre Datenstrategie, sondern erfordert oft auch den Verlust des Eigentums und der Kontrolle über Ihre Daten.
Ihr Data Lakehouse muss offen, flexibel, portabel, interoperabel und anpassungsfähig sein, damit sich Ihr Data Lakehouse anpasst, falls sich Ihre Datenstrategie ändert. Daher werden offene Tabellenformate (Apache Iceberg), offene Kataloge (Apache Polaris), offene Abfrage-Engines, REST-APIs und föderierter Zugriff zur neuen Basis und bilden die Kernbausteine des Lakehouse von Cloudera.
Kontextbewusstes Hybrid-Lakehouse
LLMs werden im Internet trainiert. Sie kennen Ihr Geschäft nicht. Der Erfolg von KI wird nicht mehr durch die Modellqualität bestimmt. Er hängt davon ab, welche Workflows Sie automatisieren und wie genau die geschäftlichen Kontextdaten sind, die Sie den Modellen zur Verfügung stellen – ERP-Datensätze, Finanztransaktionen, Lieferkettenprotokolle usw.
Cloudera Data Lakehouse bietet eine sichere, gut geschützte Kontextebene für Ihre Agenten:
360-Grad-Kontext: Vereinheitlichen und stellen Sie Daten aus der Edge, aus Rechenzentren und aus der Cloud über eine einzige Governance-Ebene bereit, die einen umfassenden 360-Grad-Kontext bietet.
Multimodale Daten: Transformieren, bereinigen und vereinheitlichen Sie unstrukturierte Daten wie Protokolle, Videos und Bilder, um Analysen und Argumentationen zusammen mit strukturierten Tabellen zu ergänzen.
Gemeinsame Semantik: Kombinieren Sie technische, geschäftliche und operative Metadaten, um es Agenten zu erleichtern, Ihre Daten im richtigen Geschäftskontext zu finden, zu verstehen und zu nutzen.
Vollständige Nachvollziehbarkeit: Wenn ein KI-Agent eine Beschaffungsentscheidung im Wert von 1 Million Dollar trifft, benötigen Sie eine „Dokumentation“, also Erklärbarkeit. Cloudera bietet diese Erklärbarkeit durch durchgängige Verfolgbarkeit und automatisierte Datenherkunft vom Edge-Sensor bis zum endgültigen Modellausgang.
Lakehouse von Cloudera liefert Echtzeit-Kontext in verteilten und heterogenen Umgebungen. So können Unternehmen ihre Daten, Modelle und Geschäftsregeln unter ihrer Kontrolle behalten und gleichzeitig KI-Systeme mit vollständigem Kontext versorgen.
Portable KI
Mit Cloudera können Sie Analysen und KI direkt zu den Daten bringen – unabhängig von ihrem Speicherort. Ganz gleich, ob sich Ihre Daten in einem lokalen Objektspeicher, einer Private Cloud oder über mehrere Public Clouds verteilt befinden – unser Lakehouse bietet portable KI mit einer einheitlichen Zero-Copy-Architektur. Sie können in der Cloud entwickeln und die Inferenz lokal durchführen – ganz ohne Umstellungskosten – und behalten so die Kontrolle über Ihre Daten und verhindern den Verlust geistigen Eigentums. Für globale Finanzinstitute wie die OCBC Bank ermöglicht diese architektonische Offenheit die konzernweite Skalierung von KI-/ML-Fähigkeiten bei gleichzeitiger Einhaltung strenger regionaler Anforderungen hinsichtlich Datenresidenz und -speicherung.
Selbstoptimierendes autonomes Lakehouse
KI-Systeme reagieren sehr empfindlich auf Datenqualität, Aktualität und Konsistenz. Da das Datenvolumen und die KI-Workflows exponentiell zunehmen, ist eine manuelle Optimierung nicht mehr tragbar. Cloudera integriert KI-gestützte Automatisierungen direkt in die Lakehouse-Plattform für Folgendes:
Datenzugriff
Datenoptimierung
Kompaktierung
Schemaentwicklung
Tagging und Klassifizierung
Workload-Optimierung
Qualitätsüberwachung
Durchsetzung der Governance
Lineage
Lifecycle-Management
Es optimiert sich kontinuierlich selbst und reduziert gleichzeitig die operative Komplexität für Daten- und KI-Teams. Mit Cloudera Agent Studio setzen unsere Kunden Agenten ein, die Daten auf der Grundlage von Geschäftsabsichten autonom überwachen, umwandeln und verschieben.
Von Batch zu Continuous: Das Streaming Lakehouse
Die Unterscheidung zwischen „Streaming“ und „Batch“ verschwindet zusehends. Zur Unterstützung agentischer Workflows dürfen die Daten nicht Minuten oder Stunden alt sein – sie müssen kontinuierlich verfügbar sein.
Cloudera Open Data Lakehouse fungiert als Streaming-Lakehouse, das jeden Datenpunkt als Ereignis behandelt, sodass KI-Agenten in der Lage sind, innerhalb von Millisekunden auf Störungen in der Lieferkette oder finanzielle Anomalien zu reagieren. Es verarbeitet diese Ereignisse direkt an ihrem Entstehungsort und führt komplexe Analysen der Streaming-Daten durch, bevor diese zur Entscheidungsfindung in nahezu Echtzeit in das zentrale Rechenzentrum eingespeist werden. Es stellt außerdem die vorverarbeiteten Streaming-Daten den Agenten bei der Inferenz zur Verfügung, damit diese in Echtzeit Maßnahmen ergreifen können. Das Lakehouse umfasst auch Datenaustausch- und Föderationsfunktionen, die sicherstellen, dass Daten aus anderen Quellen mit minimaler Latenz ohne unnötige Datenverschiebungen oder Datentransformationen verarbeitet werden können.
Das Edge-zu-KI-Kontinuum: Edge-Inferenz erweitert das Lakehouse über das Rechenzentrum hinaus
Lakehouse ist kein zentralisierter Monolith. Mit der zunehmenden Verbreitung von IoT, Smart Factories und mobilen Anwendungen gewinnt Edge-Inferenz zunehmend an Bedeutung. Cloudera erweitert das Lakehouse nach außen und ermöglicht so Analysen und Maßnahmen dort, wo die Daten generiert werden – an der Edge – und synchronisiert gleichzeitig die gewonnenen Erkenntnisse zurück an den zentralen Hub. Bei Navistar: Durch die Echtzeitauswertung von Sensordaten Tausender vernetzter Lkw konnten die Wartungskosten um 30 % gesenkt werden, indem proaktive Wartungsmaßnahmen automatisch ausgelöst wurden.
Konvergenz von Data Fabric und Lakehouse
Bei Cloudera beobachten wir eine Konvergenz der Lakehouse- und Fabric-Architekturen. Während das Lakehouse die Daten zusammenführt, aktiviert das Fabric die Metadaten (automatische Erfassung bei der Datenaufnahme: Herkunft, Sensitivitäts-Tags und mehr). All dies trägt zur Automatisierung der Ermittlung, Integration und Governance von Daten bei. Dadurch wird der Zugriff auf Daten von überall aus mit Zero-Copy-, Zero-ETL- und Zero-Redundancy-Sicherheit vereinfacht.
Von KI, die kommuniziert, zu KI, die vorhersagt und handelt
Bei der ersten KI-Welle ging es um Konversation. Bei der nächsten Welle geht es um Agenten. Die Gewinner in diesem Zeitalter werden nicht diejenigen sein, die einfach die meisten Daten „speichern“; sie werden diejenigen sein, die autonomen Systemen einen vertrauenswürdigen, kontinuierlichen, multimodalen Kontext liefern können, der klare Empfehlungen und Entscheidungen ermöglicht. Indem Cloudera KI-Agenten einen kontrollierten, föderierten Zugriff auf beliebige Daten ermöglicht, hilft das Unternehmen den weltweit größten Unternehmen dabei, den Schritt vom „Reden“ zum „Handeln“ zu vollziehen.
Ganz gleich, ob sich Ihre Daten im Rechenzentrum, in der Cloud oder an der Edge befinden – das Open Data Lakehouse von Cloudera fungiert als hybrides Lakehouse und stellt sicher, dass sie für die agentische Zukunft gerüstet sind.
Sehen Sie sich das Video an, um zu erfahren, wie das Cloudera Open Data Lakehouse funktioniert.
Besuchen Sie Cloudera Open Data Lakehouse, um mehr zu erfahren.