Cloudera Data Engineering
Pipelines auf Unternehmensniveau für schnelle, iterative Analysen und KI-Entwicklung
Übersicht
Optimieren und operationalisieren Sie Datenpipelines sicher und in jeder Größenordnung.
Cloudera Data Engineering ist der einzige native Cloud-Service, der speziell für Daten-Engineering-Teams entwickelt wurde. Data Engineering baut auf Apache Spark auf und ist ein umfassendes Daten-Engineering-Toolset, das die Automatisierung der Koordinierung mit Apache Airflow, eine erweiterte Pipeline-Überwachung und visuelle Fehlerbehebung ermöglicht und umfassende Management-Tools zur Rationalisierung von ETL-Prozessen in unternehmensweiten Analyse-Teams bietet.
Data Engineering ist vollständig in Cloudera integriert, was durchgängige Transparenz und Sicherheit mit SDX sowie nahtlose Integrationen in Datenservices wie Cloudera Data Warehouse und Cloudera AI (vormals Cloudera Machine Learning) ermöglicht. Data Engineering ermöglicht konsistente, wiederholbare und automatisierte Daten-Engineering-Workflows auf einer hybriden Cloud-Plattform an jedem beliebigen Ort.
Anwendungsfälle für Cloudera Data Engineering
- Datenpipelines überall automatisieren
- Transparenz und Kontrolle über ETL gewinnen
- Durchgängige Datenintegrität wahren
Datenpipelines überall automatisieren
Übermitteln Sie qualitativ hochwertige Datensätze sicher an Cloudera Data Warehouse, Cloudera AI oder jedes andere Analysewerkzeug.
Mit Data Engineering lassen sich Datenpipelines für Analyseteams optimieren – vom maschinellen Lernen bis zum Data Warehousing und darüber hinaus. Beschleunigen Sie die Wertschöpfung durch die Orchestrierung und Automatisierung von Pipelines, um überall übersichtliche, qualitativ hochwertige Datensätze sicher und transparent bereitzustellen.
Transparenz und Kontrolle über ETL gewinnen
Verwalten Sie Ihren Datenlebenszyklus ganzheitlich und transparent.
Das Verwalten des Datenlebenszyklus und die Kontrolle der Kosten werden immer komplexer, wenn Sie versuchen, Datenpipelines im gesamten Unternehmen in großem Umfang umzusetzen.
Data Engineering bietet eine Reihe von Funktionen für die operative Steuerung und Transparenz: für die Kapazitätsplanung, Pipeline-Automatisierung, automatische Erfassung der Datenherkunft und die Fehlerbehebung in allen Anwendungsfällen.
Durchgängige Datenintegrität wahren
Vollständige Transparenz in der Datenpipeline schützt Ihr Unternehmen.
Angesichts der zunehmenden Menge und Komplexität von Daten kann es schwierig sein, bei der Skalierung analytischer Workloads im gesamten Unternehmen stets Präzision und Zuverlässigkeit zu gewährleisten.
Data Engineering bietet eine native Überwachung und Warnungen für Datenpipelines, damit Sie Probleme frühzeitig erkennen. Zudem umfasst sie eine visuelle Fehlerbehebung, damit Sie Probleme schnell beheben können, bevor sie sich auf Ihr Unternehmen auswirken.
Die wichtigsten Funktionen von Cloudera Data Engineering
Koordinieren Sie komplexe Workflows für die Datentransformation, die von Apache Airflow mit Hunderten von Operatoren unterstützt werden, um geschäftskritische Analyseanforderungen zu erfüllen.
Data Engineering ist containerisiert, skalierbar und portabel, mit isolierten Workload-Umgebungen und Sicherungen, die ein sicheres Pipeline-Management mit flexibler On-Demand-Berechnung ermöglichen, um geschäftliche SLA kosteneffizient zu erfüllen.
Visualisieren Sie Leistungsmetriken wie CPU, Arbeitsspeicher und E/A in allen Phasen Ihrer Spark-Aufträge, um Leistungsengpässe zu erkennen und bei der Fehlerbehebung die Nadel im Heuhaufen zu finden.
Nutzen Sie eine umfassende Benutzerschnittstelle für die Auftragsverwaltung über eine CLI und REST-APIs für die einfache Automatisierung und Integration in bestehende Workflows wie CI/CD-Pipelines und Drittanbieter-Tools.
Data Engineering bietet einen vollständig integrierten Spark-Service, der auf Kubernetes ausgeführt wird, der die Artefaktverwaltung, Sicherheit und Ressourcenplanung automatisiert und optimiert. Dazu nutzt er Apache Yunikorn für die FIFO- und GANG-Planung.
Von einer zentralen Schnittstelle aus können Plattformadministratoren Zugriffs- und Sicherheitsaspekte verwalten und schnell neue Workloads bereitstellen. Gleichzeitig können sie die Kapazitäten einfach überwachen und die Ressourcennutzung im Zeitverlauf visualisieren. SDX ermöglicht außerdem die Verfolgung der Datenherkunft über den gesamten Lebenszyklus, damit Sie über den Ursprung und den Verbleib von Daten informiert sind.
Sie möchten mehr erfahren?
Machen Sie sich selbst ein Bild von Cloudera Data Engineering
