ClouderaNOW24     Sehen Sie die neuesten Innovationen von Cloudera

Jetzt ansehen
Übersicht

Optimieren und operationalisieren Sie Datenpipelines sicher und in jeder Größenordnung.

CDP Data Engineering ist der einzige native Cloud-Service, der speziell für Daten-Engineering-Teams entwickelt wurde. Data Engineering baut auf Apache Spark auf und ist ein umfassendes Daten-Engineering-Toolset, das die Automatisierung der Koordinierung mit Apache Airflow, eine erweiterte Pipeline-Überwachung und visuelle Fehlerbehebung ermöglicht und umfassende Management-Tools zur Rationalisierung von ETL-Prozessen in unternehmensweiten Analyse-Teams bietet.

Data Engineering ist vollständig in die Cloudera Data Platform integriert, was durchgängige Transparenz und Sicherheit mit SDX sowie nahtlose Integrationen in CDP-Services wie CDP Data Warehouse und CDP Machine Learning ermöglicht. Daten-Engineering auf der CDP ermöglicht konsistente, wiederholbare und automatisierte Daten-Engineering-Workflows auf einer hybriden Cloud-Plattform an jedem beliebigen Ort.

Anwendungsfälle für CDP Data Engineering

  • Datenpipelines überall automatisieren
  • Transparenz und Kontrolle über ETL gewinnen
  • Durchgängige Datenintegrität wahren

Datenpipelines überall automatisieren


Übermitteln Sie qualitativ hochwertige Datensätze sicher an CDP Data Warehouse, CDP Machine Learning oder jedes andere Analysewerkzeug.

Mit Data Engineering lassen sich Datenpipelines für Analyseteams optimieren – vom maschinellen Lernen bis zum Data Warehousing und darüber hinaus. Beschleunigen Sie die Wertschöpfung durch die Orchestrierung und Automatisierung von Pipelines, um überall übersichtliche, qualitativ hochwertige Datensätze sicher und transparent bereitzustellen.

Informationen aus der Praxis

Transparenz und Kontrolle über ETL gewinnen


Verwalten Sie Ihren Datenlebenszyklus ganzheitlich und transparent.

Das Verwalten des Datenlebenszyklus und die Kontrolle der Kosten werden immer komplexer, wenn Sie versuchen, Datenpipelines im gesamten Unternehmen in großem Umfang umzusetzen.

Data Engineering bietet eine Reihe von Funktionen für die operative Steuerung und Transparenz: für die Kapazitätsplanung, Pipeline-Automatisierung, automatische Erfassung der Datenherkunft und die Fehlerbehebung in allen Anwendungsfällen.

Lesen Sie den Blogbeitrag

Screenshot des Tools CDP Data Engineering | Cloudera

Durchgängige Datenintegrität wahren


Vollständige Transparenz in der Datenpipeline schützt Ihr Unternehmen.

Angesichts der zunehmenden Menge und Komplexität von Daten kann es schwierig sein, bei der Skalierung analytischer Workloads im gesamten Unternehmen stets Präzision und Zuverlässigkeit zu gewährleisten.

Data Engineering bietet eine native Überwachung und Warnungen für Datenpipelines, damit Sie Probleme frühzeitig erkennen. Zudem umfasst sie eine visuelle Fehlerbehebung, damit Sie Probleme schnell beheben können, bevor sie sich auf Ihr Unternehmen auswirken.

 

Screenshot von CDP Data Engineering – Fehlerbehebung in der Datenpipeline | Cloudera

Die wichtigsten Funktionen von CDP Data Engineering

Koordinieren Sie komplexe Workflows für die Datentransformation, die von Apache Airflow mit Hunderten von Operatoren unterstützt werden, um geschäftskritische Analyseanforderungen zu erfüllen.

Data Engineering ist containerisiert, skalierbar und portabel, mit isolierten Workload-Umgebungen und Sicherungen, die ein sicheres Pipeline-Management mit flexibler On-Demand-Berechnung ermöglichen, um geschäftliche SLA kosteneffizient zu erfüllen.

Visualisieren Sie Leistungsmetriken wie CPU, Arbeitsspeicher und E/A in allen Phasen Ihrer Spark-Aufträge, um Leistungsengpässe zu erkennen und bei der Fehlerbehebung die Nadel im Heuhaufen zu finden.

Nutzen Sie eine umfassende Benutzerschnittstelle für die Auftragsverwaltung über eine CLI und REST-APIs für die einfache Automatisierung und Integration in bestehende Workflows wie CI/CD-Pipelines und Drittanbieter-Tools.

Data Engineering bietet einen vollständig integrierten Spark-Service, der auf Kubernetes ausgeführt wird, der die Artefaktverwaltung, Sicherheit und Ressourcenplanung automatisiert und optimiert. Dazu nutzt er Apache Yunikorn für die FIFO- und GANG-Planung.

Von einer zentralen Schnittstelle aus können Plattformadministratoren Zugriffs- und Sicherheitsaspekte verwalten und schnell neue Workloads bereitstellen. Gleichzeitig können sie die Kapazitäten einfach überwachen und die Ressourcennutzung im Zeitverlauf visualisieren. SDX ermöglicht außerdem die Verfolgung der Datenherkunft über den gesamten Lebenszyklus, damit Sie über den Ursprung und den Verbleib von Daten informiert sind.

Sie möchten mehr erfahren?


Erleben Sie Daten-Engineering auf der Cloudera Data Platform

Ebook

CDP Data Engineering: Heben Sie Ihren Datenlebenszyklus auf eine neue Ebene

Webinar

Cognilytica-Webinar: Optimieren von Data-Engineering-Pipelines

Whitepaper

Checkliste für KI-Data-Engineering-Lebenszyklen

Webinar

Data Engineering im Unternehmen: Wie Sie Ihre Datenpipelines beschleunigen und skalieren

Erstklassige Schulungen, Support & Services

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.