In den heutigen staatlichen, lokalen und Bildungsumgebungen (SLED) – insbesondere im Hochschulbereich – stehen Budgets unter ständiger Prüfung, und die Nachfrage nach Datenexzellenz ist konstant. Das bedeutet, mit weniger Ressourcen mehr zu erreichen. Eine wirkungsvolle Änderung in Ihren Daten-Workflows, die die Qualität Ihrer Daten und KI verbessern und gleichzeitig die Kosten senken kann, ist die Automatisierung und Dokumentation der Datenherkunft.
Die Hochschulen kämpfen mit der Komplexität der Daten: Kritische Daten befinden sich in Systemen und Umgebungen, die nie dafür ausgelegt waren, miteinander zu kommunizieren – lokale Datenbanken, Cloud-Umgebungen und Edge-Geräte. Die Verwaltung von Feldern wie Studenten-IDs, Fördermittel-IDs oder der Entwicklung des Stiftungsvermögens im laufenden Jahr über verschiedene Quellen und Teams hinweg ist zwar notwendig, aber schwierig, manuell und fehleranfällig.
Ohne vertrauenswürdige, qualitativ hochwertige Daten bleiben wirkungsvolle Analyse- und KI-Anwendungsfälle ein Wunschtraum. Verfügen Hochschulen jedoch über eine einheitliche Übersicht über die Datenherkunft systemübergreifend, können sie diese Daten erfolgreich für KI-gestützte Erkenntnisse und Maßnahmen in den Bereichen Lehrplanentwicklung, Studentenrekrutierung, Studentenbindung, effizienter Campusbetrieb, Cloud-Migrationen und vielem mehr nutzen.
Cloudera Data Lineage bietet eine automatisierte und konsistente Methode, um den Datenfluss von seiner Entstehung (Quelle) bis zu seiner endgültigen Nutzung (BI oder KI) abzubilden. Es erfasst und interpretiert Metadaten sehr schnell und hilft Unternehmen so beim Aufbau eines umfassenden Wissensgraphen, der genau zeigt, wie Daten erstellt, transformiert und genutzt werden – konsistent und lückenlos über die gesamte Karte hinweg.
Datenexzellenz mit Cloudera Data Lineage erreichen
In unserem kürzlich von Cloudera und dem Partner Carahsoft veranstalteten Webinar „ Aufbau von Vertrauen und Compliance in SLED-Unternehmen“ merkt Panelist Art Jordan (Sales Go-to-Market Director, Data Intelligence Products für Cloudera Data Lineage) an, dass „die Datenherkunft ein Milliarden-Dollar-Problem ist“. Wenn Sie sich auf manuelle Prozesse verlassen und Lücken in Ihrer Datenzuordnung bestehen, sind Ineffizienzen und Verzögerungen unvermeidlich, was zu erheblichen Herausforderungen in Bezug auf erklärbare KI, den Schutz persönlich identifizierbarer Daten (PII) und die Einhaltung gesetzlicher Vorschriften führt.
Cloudera Data Lineage begegnet diesen Herausforderungen, indem es detaillierte Ansichten der Datenherkunft mit Abhängigkeiten und Transformationen konsistent über die gesamte Karte hinweg bereitstellt:
Systemübergreifende Datenherkunft: Bietet eine nachvollziehbare Datenherkunft auf Systemebene vom Einstiegspunkt bis hin zu Berichten, Analysen und allen Datenkonsumenten.
Systeminterne Herkunft: Beschreibt detailliert die Herkunft der Assets innerhalb eines ETL-Prozesses (Extract, Transform, Load), eines Berichts oder eines Datenbankobjekts. Dazu gehört auch, zu erkennen, wie ein Feld innerhalb einer Pipeline oder eines Repositorys abgeleitet oder berechnet wird.
End-to-End-Herkunftsnachweis: Vollständige Nachverfolgbarkeit der Herkunft von Assets auf Systemebene. Dies berücksichtigt komplexe Beziehungen, bei denen ein Feld mehrere Systeme versorgen oder aus mehreren Quellen stammen kann (Eins-zu-Viele und Viele-zu-Eins).
Durch die Beherrschung der Herkunft können Hochschulen schnell vor- und nachgelagerte Analysen und Zuordnungen durchführen. Sie bietet vollständige Transparenz und Kontrolle über den gesamten Datenfluss und ermöglicht es Unternehmen zu verstehen, wohin ihre Daten fließen, woher sie stammen und wie sie gewonnen wurden. Diese Transparenz und die Fähigkeit, Integrität zu garantieren, sind unerlässlich, um sicherzustellen, dass Sie über vertrauenswürdige, qualitativ hochwertige Daten für die Verwendung in KI-Modellen verfügen und diese Daten der Unternehmensleitung sowie externen Partnern zur Verfügung gestellt werden.
Erfolgsgeschichte: Wie die Universität von Arizona mit Cloudera Data Lineage ihre Effizienz steigerte und Kosten senkte
Die University of Arizona (U of A), eine bedeutende Forschungsuniversität, implementierte Cloudera Data Lineage in ihrer Abteilung für University Analytics and Institutional Research. Zu ihrer Umgebung gehörte die nächtliche Ausführung von 10.000 ETL-Jobs (Extract, Transform, Load) sowie die Speicherung von fast 40.000 verschiedenen Spalten in ihrem Data Warehouse. Die manuelle Datendokumentation war aufgrund dieses enormen Volumens eine Herausforderung.
Die Universität erzielte signifikante Effizienzsteigerungen und Kostensenkungen durch Folgendes:
Durchführung von ETL-Auswirkungsanalysen: Die Analyse der Auswirkungen größerer PeopleSoft-Updates (bei denen Datentypen und -längen geändert oder Spalten gelöscht werden) dauerte für das Data-Engineering-Team bisher eine Woche oder länger. Cloudera Data Lineage hat diese Zeit auf einige Tage verkürzt.
Konsolidierung von Artefakten: Jeder ETL-Job verbraucht Rechen-, Speicher- und Logging-Ressourcen. Mithilfe der durchgängigen Metadatenansicht von Cloudera hat die U of A Artefakte konsolidiert und die ETL-Jobs von 10.000 auf 8.000 reduziert. Diese Reduzierung um 20 % senkte die Infrastrukturkosten, verringerte die Komplexität der Pipelines und reduzierte den operativen Aufwand, während gleichzeitig die Datenkonsistenz und die Governance in der gesamten Umgebung verbessert wurden.
Nutzung schneller Erkennung: Mithilfe des Cloudera Data Lineage-Erkennungsmoduls erstellte das Team eine Liste aller ETL-Jobs, die bestimmte auskommentierte SQL-Anweisungen enthielten. Diese Aufgabe – die für ein umfassendes System-Upgrade erforderlich war – hätte manuell viel Zeit in Anspruch genommen, wurde aber durch Automatisierung sofort erledigt.
Entscheidend ist, dass Cloudera Data Lineage die Audit-Bereitschaft und Datengenauigkeit verbessert hat, indem es den Stakeholdern einen klaren Überblick über den Datenfluss durch Pipelines, Repositorys und BI-Reports ermöglichte. Anstatt sich ausschließlich auf das Data-Engineering-Team zu verlassen, das manuell die Datenherkunft und -transformationen nachverfolgt, könnten Compliance-, institutionelle Forschungs- und Finanzteams unabhängig überprüfen, woher die Daten stammen und wie sie berechnet wurden. Dadurch wurde das Risiko von Berichtsfehlern verringert, die Beantwortung von Anfragen von Aufsichts- und Akkreditierungsbehörden beschleunigt und vieles mehr – und das bei gleichzeitiger Entlastung der knappen IT-Budgets und -Ressourcen.
Der nächste Schritt
Sind Sie zuversichtlich, dass Ihre Organisation in der Lage ist, die Einhaltung von Vorschriften und die Datengenauigkeit nachzuweisen, wenn sie einer Budgetprüfung oder einem raschen betrieblichen Wandel ausgesetzt ist? Was ist die komplexeste Datenpipeline-Transformation, die Sie nächste Woche automatisch dokumentieren und abbilden möchten?
Besprechen wir, wie Cloudera Data Lineage Ihnen bei der Erreichung von Datenexzellenz helfen kann.
