Cloudera Data Engineering
Erstellen, orchestrieren und verwalten Sie Datenpipelines auf Unternehmensniveau mit Apache Spark auf Iceberg. Unterstützen Sie skalierbare KI und multifunktionale Analysen von der Cloud bis zum Rechenzentrum.
Überblick
Der offene Standard für Unternehmensdaten-Engineering
Data Engineering versetzt Teams in Unternehmen in die Lage, Datenpipelines sicher auf der Grundlage eines offenen Lakehouse aufzubauen, zu automatisieren und zu skalieren. Unterstützen Sie Multifunktionsanalysen und KI für Ihre Daten, ganz gleich wo sich diese befinden.
Vereinheitlichen Sie strukturierte und unstrukturierte Daten mit Apache Spark auf Iceberg, orchestriert durch Airflow – vollständig offen und ohne Abhängigkeit von einem Anbieter.
Erstellen, betreiben und verwalten Sie Datenpipelines überall – in Clouds, Rechenzentren oder hybriden Umgebungen – mit containerisierter Flexibilität und einheitlicher Governance.
Erzielen Sie Kosteneffizienz mit Tools für finanzielle Governance, um Ressourcen zu optimieren, einschließlich Beobachtbarkeit auf Ebene von Workloads, automatischer Skalierung und Datenaustausch ohne ETL.
ANWENDUNGSFÄLLE
Erstellen Sie durchgängige Datenpipelines, um KI und Analysen zu beschleunigen.
-
Skalierbare Pipelines für Daten an jedem Ort erstellen
Sorgen Sie für Workload-Portabilität, offene Standards und Skalierbarkeit in der Cloud und vor Ort.
-
DataOps durch Orchestrierung beschleunigen
Automatisieren Sie Workflows, iterieren Sie Pipelines und vereinfachen Sie die Zusammenarbeit.
-
Datenaustausch ohne ETL
Ermöglichen Sie intern und extern einen sicheren und vertrauenswürdigen Datenzugriff.
-
Pipelinekosten überwachen und optimieren
Senken Sie die Gesamtbetriebskosten durch Beobachtbarkeit und effiziente Rechnenleistung.
-
Skalierbare Pipelines für Daten an jedem Ort erstellen
Sorgen Sie für Workload-Portabilität, offene Standards und Skalierbarkeit in der Cloud und vor Ort.
-
DataOps durch Orchestrierung beschleunigen
Automatisieren Sie Workflows, iterieren Sie Pipelines und vereinfachen Sie die Zusammenarbeit.
-
Datenaustausch ohne ETL
Ermöglichen Sie intern und extern einen sicheren und vertrauenswürdigen Datenzugriff.
-
Pipelinekosten überwachen und optimieren
Senken Sie die Gesamtbetriebskosten durch Beobachtbarkeit und effiziente Rechnenleistung.
20 %
verbesserte Effizienz für Datenteams
Steigern Sie die Effizienz durch Portabilität, Orchestrierung und einheitlichen Datenzugriff von Cloudera on Premises.
Führen Sie Spark, Iceberg und Airflow von überall aus – mit Cloud-nativer Data-Engineering-Erfahrung.
Steigern Sie die Produktivität von Anwendern mit Tools, die intuitiv und für Unternehmen sicher sind.
Erstellen, testen und orchestrieren Sie Pipelines mit Sessions und Apache Airflow.
Liefern Sie frische Daten an nachgelagerte Pipelines und externe Plattformen.
Verbinden Sie sich mit externen Engines über den Iceberg REST-Katalog mit Metadaten-Governance und Nachverfolgbarkeit der Datenherkunft.
Intelligenter skalieren mit finanzieller Governance auf Ebene von Workloads
Optimieren Sie Kosten mit integrierten Einblicken und energieeffizienten AWS Graviton-Prozessoren.
Führen Sie skalierbare, kontrollierte Pipelines mit Spark auf Iceberg in Containern ab dem offenen Data Lakehouse aus. Nutzen Sie die Schema-Revolution von Iceberg, die Funktionen für „Zeitreisen“ und den externen Datenaustausch zwischen lokalen und Cloud-Umgebungen.
Drag-and-Drop-Orchestrierung für komplexe Arbeitsabläufe, die Vereinfachung des Aufgabenmanagements, die Kontrolle von Abhängigkeiten und die Konnektivität externer Tools.
Beschleunigen Sie On-Demand-Sessions für schnelles Testen und Erstellen von Iterationen. Ermöglichen Sie die sichere Remote-Entwicklung von jeder IDE aus – z. B. VSCode und Jupyter Notebook – basierend auf Spark Connect.
Sorgen Sie stets für frische Daten, indem Sie Änderungen auf Zeilenebene aus den Quellsystemen erfassen. Automatisieren Sie kontinuierliche Aktualisierungen, um zuverlässige Datenpipelines aufzubauen.
Überwachen Sie Datenpipelines durchgängig dank integrierter Verwaltungsfunktionen für Metadaten und die Nachverfolgung der Datenherkunft. Unterstützt durch Cloudera Shared Data Experience (SDX) und Cloudera Octopai Data Lineage für automatisierte Transparenz, Governance und vertrauenswürdige Erkenntnisse in hybriden Umgebungen.
Automatisieren Sie Pipeline-Workflows mit robusten APIs über beliebige Services hinweg – ganz gleich, ob Sie mit SQL, Java, Scala oder Python arbeiten. Diagnostizieren und beheben Sie Leistungsprobleme rasch dank visuellem Echtzeit-Profiling, das zudem über integrierte Überwachungs- und Warnfunktionen für jede Lebenszyklusphase verfügt.
Funktionen nach Arten von Cloudera-Data-Engineering-Clustern
| Haupt-Cluster | Universelles Cluster | ||
Infrastruktur |
Cluster für automatische Skalierung | ||
| Spot-Instanzen | |||
| Cloudera Shared Data Experience | |||
| Offenes Lakehouse mit Iceberg | |||
Spark |
Job-Lifecycle-Management | ||
| Zentrale Überwachung | |||
| Workflow-Orchestrierung (Airflow) | |||
| Spark Streaming | |||
Entwicklungsendpunkte |
Interaktive Sessions | ||
| Externe IDE-Konnektivität | |||
| JDBC-Konnektor (demnächst verfügbar) | |||
Bereitstellungsoptionen für Cloudera Data Engineering
Einheitliche Verarbeitungsschicht in einem offenen, hybriden Data Lakehouse.
Cloudera in der Cloud
- Multi-Cloud-Flexibilität: Bereitstellungen in öffentlichen Clouds mit containerisierten API-first-Services – ohne Bindung an einen Anbieter und mit voller Interoperabilität.
- Modulare Entwicklererfahrung: Nutzen Sie Apache Airflow, verwaltetes Spark, APIs und IDEs, und beschleunigen Sie die Entwicklung durch iterative Zusammenarbeit.
- Elastische Skalierbarkeit: Skalieren Sie Spark-Workloads automatisch und dynamisch, und optimieren Sie die Kosten basierend auf der Nutzung.
Cloudera on Premises
- Behalten Sie die Kontrolle über Ihre Bereitstellung: Stellen Sie Datenpipelines in öffentlichen Clouds mit containerisierten API-first-Services bereit – ohne Bindung an einen Anbieter und bei voller Interoperabilität.
- Ein Erlebnis wie in der Cloud: Nutzen Sie die gleichen modularen, containerisierten Services wie in der Cloud – entwickelt für hybride Portabilität und Skalierbarkeit.
- Für Unternehmen entwickelt: Profitieren Sie standardmäßig von schnellem Onboarding, externem Zugriff auf die integrierte Entwicklungsplattform und fein abgestuften Zugriffskontrollen.
KUNDEN
Teams vertrauen darauf, um mit hybriden Daten eine geschäftliche Wirkung zu erzielen.
Transport
GEODIS
Finanzdienstleistungen
Nord/LB
Fertigung und Automobilindustrie
Navistar
Konnektoren, Integrationen und Partner.
Erstellen Sie Pipelines in einem offenen, interoperablen Datenökosystem. Integrieren Sie führende Engines, Cloud-Anbieter und Tools in Ihren modernen Daten-Stack.
Datenverarbeitung
Data Lakes und Data Warehouses
Datenorchestrierung
Aufnahme von Streaming-Daten
NoSQL-Engine
Data Lakes und Data Warehouses
Cloud-Anbieter
Cloud-Anbieter
Cloud-Anbieter
Cloud-Anbieter
Orchestrierung von Containern
Data Warehouse
Erfahren Sie mehr
Gehen Sie den nächsten Schritt
Tauchen Sie in die Details ein, um die leistungsstarken Funktionen von Cloudera Data Engineering kennenzulernen.
Produkttour zu Data Engineering
Erhalten Sie bei einer Produktvorstellung einen Einblick in Cloudera Engineering.
Dokumentation zu Data Engineering
Tauchen Sie in die Details ein, um die Einrichtung und den Betrieb von Cloudera Data Engineering kennenzulernen.
Weitere Produkte erkunden
Analysieren Sie enorme Datenmengen für Tausende von gleichzeitig aktiven Benutzern, ohne Nachteile in Bezug auf Geschwindigkeit, Kosten oder Sicherheit.
Treffen Sie intelligente Entscheidungen dank einer flexiblen Plattform, die alle Daten an jedem Ort verarbeitet, um praktisch nutzbare Analysen und eine vertrauenswürdige KI zu erhalten.
Beschleunigen Sie die datenbasierte Entscheidungsfindung von der Recherche bis zur Produktion mit einer sicheren, skalierbaren und offenen Plattform für Unternehmens-KI.
Erfassen und verschieben Sie Ihre Daten zwischen jedem beliebigen Ursprungs- und Zielort – einfach, sicher, skalierbar und kostengünstig.