Lakehouses haben viele Probleme von Unternehmen gelöst, indem sie die Datenspeicherung vereinheitlicht und vereinfacht haben. Doch die Rahmenbedingungen auf Unternehmensebene haben sich verändert. Heute koordinieren Unternehmen mehr Tools, verwalten mehr Daten, setzen KI ein und müssen sich mit zunehmenden regulatorischen Kontrollen auseinandersetzen.
Infolgedessen können Daten nicht mehr als gelegentlich oder isoliert abgefragte Informationen behandelt werden. Sie müssen nun operativ einsetzbar sein – das heißt, sie müssen für die Verwendung in Echtzeit, automatisierte Entscheidungsfindung und KI-gestützte Workflows im gesamten Unternehmen bereit sein. Dieser Wandel führt dazu, dass Architekturen über Lakehouses hinausgehen und sich zu einer dynamischeren Data-Intelligence-Plattform entwickeln.
Was hat sich geändert? Analysen sind nun plattformübergreifend
Moderne Unternehmen verlassen sich auf mehrere Analyseplattformen, um eine breite Palette an Workloads, einschließlich Business Intelligence und Berichterstattung, Analysen in Echtzeit, Observability, maschinelles Lernen und KI, zu unterstützen.
Jedes Team hat seine eigenen Anforderungen an dieselben Daten. In der Praxis werden Plattformen daher eher aufgrund ihrer Produktivität und Geschwindigkeit und weniger aufgrund ihrer architektonischen Reinheit ausgewählt. Ein Großteil dieser Daten wird auch weiterhin lokal oder in regulierten Umgebungen gespeichert, wo eine Verlagerung in die Cloud weder praktikabel noch zulässig ist.
Das ursprüngliche Lakehouse-Modell ging von einer Konvergenz auf einer kleinen Anzahl von Analyseplattformen aus. In der Praxis sah es anders aus: Tools, Benutzer und Workloads variierten stark. Die Herausforderung besteht nun darin, diese Vielfalt zu unterstützen, ohne dabei die Konsistenz oder Kontrolle zu beeinträchtigen.
Die Kosten der Behandlung von Daten als Eigentum der Plattform
Trotz Lakehouse-Implementierungen bleiben Unternehmensdaten oft eng mit der Plattform verbunden, die sie verwaltet. Benötigt eine andere Plattform Zugriff, werden die Daten häufig kopiert, transformiert oder exportiert, um sie an diese Umgebung anzupassen.
Mit der Zeit wird es zu einer Herausforderung, Daten über diese verschiedenen Plattformen hinweg einheitlich und zugänglich zu halten. Doppelte Datensätze, fragile Pipelines, verzögerte Erkenntnisse und inkonsistente Governance führen zu operativen Risiken und treiben die Kosten in die Höhe.
Das Ergebnis ist ein bekanntes Muster: steigende Ausgaben, wachsende Komplexität und abnehmendes Vertrauen in die Daten und ihre Ergebnisse.
Vom Lakehouse zur Intelligence-Infrastruktur
Das Lakehouse trug dazu bei, Struktur in eine fragmentierte Analyselandschaft zu bringen, wodurch die Zusammenarbeit von Datensystemen vereinfacht wurde. Mit dem Eintritt der Unternehmen in das Zeitalter der umfassenden Data-Intelligence-Plattform verschiebt sich der Fokus.
Daten werden nicht mehr von einzelnen Tools geformt und verwaltet, sondern bilden die Grundlage der Architektur – unabhängig davon, wo die Daten physisch gespeichert sind. Alle Tools arbeiten auf einer gemeinsamen Datenebene, anstatt Daten in isolierte Umgebungen zu laden und isolierte Ausgaben zu erzeugen.
Durch diese Umstellung können Teams für jeden Workload – ob SQL-Analysen, Verarbeitung großer Datenmengen oder KI – die richtige Rechenengine auswählen und dabei sicher sein, dass sie auf derselben regulierten, vertrauenswürdigen Datengrundlage arbeiten.
Was ist eine Data-Intelligence-Plattform?
Eine Data-Intelligence-Plattform ist eine gemeinsame Infrastruktur für Daten. Das ist vergleichbar mit der städtischen Infrastruktur – den Straßen, Stromleitungen und Rohrleitungen unter einer Stadt, an die jedes Gebäude angeschlossen ist und auf die es angewiesen ist.
Ebenso bietet eine Data-Intelligence-Plattform eine zentralisierte Grundlage, die viele verschiedene Tools, Rechenengines und Anwendungen unterstützt, wobei Governance und Kontext bereits im Design integriert sind und nicht erst später hinzugefügt werden.
Charakteristisch sind:
Eine gemeinsame Datenebene, die auf offenen Datenformaten basiert
Umfangreiche Metadaten-Abstammung, die Struktur, Bedeutung und Verlauf erfasst
Integrierte Governance, die mit den Daten übertragen wird
Unterstützung für mehrere Analyse- und KI-Engines
Die Fähigkeit, sich weiterzuentwickeln, ohne die Architektur von Grund auf neu zu gestalten
Offene Grundlagen ermöglichen Data Intelligence
Eine solche Plattform funktioniert nur, wenn Daten sicher zwischen allen Tools und Umgebungen ausgetauscht werden können, egal ob On-Premises, in der Cloud, an der Edge oder kombiniert. Offene Tabellenformate sind die gemeinsame Grundlage, die eine systemübergreifende Interoperabilität ermöglicht (um mit unserer Stadtmetapher fortzufahren: die Bauvorschriften und Straßenstandards, die die Stadt für alle befahrbar machen).
Ohne sie bedeutet die Verbindung von Tools oft die Auseinandersetzung mit nicht kompatiblen Formaten, inkonsistenten Latenzen, proprietären Lock-in-Effekten oder Daten, die über geografische Grenzen hinweg verwaltet werden müssen. Das kann zu bekannten Problemen führen: eingeschränkte Überprüfbarkeit, uneinheitliche Datenansichten und wachsende Herausforderungen in Bezug auf Vertrauen.
Im Gegensatz dazu verringern offene Formate die Abhängigkeit von einem bestimmten Anbieter und unterstützen ein wachsendes Ökosystem von Tools (d. h. einmal einrichten und mit der Zeit mit Ihrem Technologie-Stack mitwachsen). Sie erleichtern die einmalige Festlegung von Governance-Richtlinien und deren durchgängige Durchsetzung (auch dort, wo Daten nicht ohne Weiteres verschoben werden können), unabhängig davon, welche Engine Zugriff benötigt. Dadurch entsteht auch eine konsistente „Speicherebene” für KI-gestützte Systeme, die diese durch integrierte Rückverfolgbarkeit und historischen Kontext zuverlässiger, überprüfbarer und anpassungsfähiger macht.
Ohne offene Formate und eine integrierte Governance zerfällt Intelligence schnell wieder in Silos, wodurch genau die Vorteile zunichtegemacht werden, die Data-Intelligence-Plattformen eigentlich bieten sollen.
Möchten Sie erleben, wie eine Data-Intelligence-Plattform in der Praxis funktioniert?
Erfahren Sie, wie von Cloudera verwaltete Iceberg-Tabellen von Snowflake und Databricks abgefragt werden können, ohne Daten zu kopieren oder die Governance zu beeinträchtigen.
So gelingt der Wechsel zu einer Intelligence-First-Plattform
Die Einführung einer Intelligence-Plattform bedeutet nicht nur eine grundlegende Veränderung der Infrastruktur, sondern auch der Art und Weise, wie Unternehmen über ihre Daten denken und ihnen vertrauen. Die Übergangsphase ist besonders entscheidend, da sie die Erwartungen an Zuverlässigkeit, Integration und Akzeptanz zwischen Teams festlegt. Fehler in der Anfangsphase können anhaltende Herausforderungen und Widerstände gegen eine langfristige Akzeptanz hervorrufen.
Gelingt dieser Wechsel, schafft sie ein Gleichgewicht zwischen Stabilität und Fortschritt, indem sie die geschäftskritischen Prozesse am Laufen hält und gleichzeitig frühe Erfolge liefert, die Vertrauen und Dynamik aufbauen.
Das Team für professionelle Dienstleistungen & Transformation (PS&T) von Cloudera unterstützt Unternehmen bei der bewussten Bewältigung dieses Wechsels – durch Vermeidung häufiger architektonischer Fallstricke und Aufbau einer dauerhaften Grundlage, die zukünftige Anwendungsfälle für Analysen und KI unterstützt.
Erfahren Sie hier mehr über unsere PS&T-Fähigkeiten.
