Übersicht
Was ist Stream Processing?
Cloudera Stream Processing ermöglicht es Kunden, Datenströme in Datenprodukte umzuwandeln, indem es Funktionen zur Datenstromanalyse für komplexe Muster und zur Gewinnung verwertbarer Informationen bereitstellt.
Stream Processing basiert auf Apache Flink und Kafka und dient als vollständige Unternehmenslösung für Datenstromverwaltung und zustandsbehaftete Verarbeitung. Dank der Kombination von Kafka als Grundlage für die Speicherung von Datenströmen, Flink als der zentralen Engine für die In‑Stream-Verarbeitung sowie erstklassiger Unterstützung branchenüblicher Schnittstellen wie SQL und REST können Entwickler, Datenanalysten und Datenwissenschaftler ganz einfach hybride Pipelines für Streaming-Daten erstellen, die Echtzeit-Datenprodukte, Dashboards, Business-Intelligence-Anwendungen, Microservices und Data Science Notebooks unterstützen.
Indem Datenverarbeitungskomponenten weiter nach oben verschoben werden, können die Echtzeit-Anforderungen zahlreicher Anwendungsfälle erfüllt werden – von Betrugserkennung und Netzwerkbedrohungsanalyse über Manufacturing Intelligence und Commerce-Optimierung bis hin zu Echtzeit-Angeboten und sofortigen Kreditgenehmigungen.
HYBRIDE PIPELINES FÜR STREAMING-DATEN
AUF BASIS VON STREAM PROCESSING
Anwendungsfälle für Stream Processing
Betrugserkennung
Kundenanalysen
Marktüberwachung
Protokollanalysen
Betrugserkennung
Vermeiden Sie Verluste in Millionenhöhe, indem Sie Finanzbetrug proaktiv erkennen.
Unternehmen der Einzelhandels-, der Finanzdienstleistungs- und anderer Branchen haben Mühe, Kundendaten zu schützen und Finanzbetrug zu verhindern. Mit den Funktionen von Cloudera Streaming Processing können Kundentransaktionen in Echtzeit verarbeitet, Muster erkannt, vorausschauende Warnungen erstellt und verwertbare Informationen aufgedeckt werden, um potenzielle Betrugsfälle zu verhindern.
Kundenanalysen
Kundenanalysen in Echtzeit verbessern Kundeninteraktionen sowie die Bindung und Zufriedenheit von Kunden.
Jedes Unternehmen ist auf Echtzeit-Analysen angewiesen, um die Kundenbindung zu verbessern. Angesichts übermäßiger Datenmengen tun sich jedoch viele mit der Implementierung entsprechender Lösungen schwer. Cloudera Stream Processing ermöglicht Kundenanalysen durch die Verarbeitung großer Datenmengen mit Latenzen von weniger als einer Sekunde. Gleichzeitig werden Kundeninteraktionen erkannt und bessere Angebotsvorschläge in Echtzeit geliefert.
Marktüberwachung
Wickeln Sie Millionen von Transaktionen pro Sekunde ab und skalieren Sie auf Petabyte an Finanzinformationen.
Kundenanforderungen an Echtzeit-Berichterstattung und schnellere SLA-Bereitstellung stellen Finanzbörsen vor Herausforderungen. Petabytes von Daten müssen verarbeitet werden, um diese Services bereitzustellen. Cloudera Streams Messaging kann problemlos große Datenmengen streamen, sodass Wertpapierbörsen schnell marktgerechte Echtzeit-Analysen erstellen und die immer anspruchsvolleren SLAs erfüllen können.
Protokollanalysen
Modernisieren Sie Ihre Protokollierungsinfrastruktur, um Analysen in Echtzeit zu erhalten.
Protokolldaten werden für Unternehmen immer wertvoller. IT-Organisationen kämpfen jedoch mit der Einführung effektiver Prozesse zur Erfassung von Protokollen, mit der Verteilung von relevanten Informationen in vorgeschalteten Prozessen und mit der Generierung von Schlüsselkennzahlen. Die Funktionen von Cloudera Stream Processing unterstützen den Ausbau der Protokollverarbeitung, liefern Echtzeit-Einblicke im gesamten Unternehmen und sorgen für erheblich geringere Betriebskosten.
Stream Processing-Funktionen
-
Streaming Analytics auf Basis von Apache Flink
-
Streams Messaging auf Basis von Apache Kafka
Streaming-Analytics
Cloudera Streaming Analytics basiert auf Apache Flink mit SQL Stream Builder und bietet:
- Funktionen zur latenzarmen Datenstromverarbeitung
- vereinfachte Entwicklung durch mögliche Erstellung von Streaming-Anwendungen mit SQL und APIs nach Branchenstandard über REST-Endpunkte
- erweiterte Fenstertechniken zum Erstellen fortschrittlicher ereignisgesteuerter Analysen
- Unterstützung für Multi-Cloud- und Hybrid-Cloud-Modelle
Der SQL Stream Builder (SSB) ist eine umfassende, interaktive Benutzeroberfläche zum Erstellen von Aufträgen zustandsbehafteter Datenstromverarbeitung mit SQL, die in optimierte Flink-Aufträge konvertiert wird. SQL ermöglicht die unkomplizierte Deklaration von Ausdrücken, um Datenströme zu filtern, zu aggregieren, weiterzuleiten und anderweitig zu verändern. SSB ist eine Schnittstelle zur Auftragsverwaltung, mit der Sie SQL in Streams erstellen und ausführen sowie robuste Daten-APIs für die Ergebnisse erstellen können.
Stellen Sie sicher, dass Daten auch bei Fehlern und Wiederholungen immer exakt einmal verarbeitet werden. So kann etwa ein Finanzdienstleistungsunternehmen mithilfe der Verarbeitung von Datenströmen Hunderte von Backoffice-Transaktionssystemen koordinieren, wenn Verbraucher ihre Hypothek bezahlen.
Erkennen und reagieren Sie auf Streaming-Ereignisse, die in falscher Reihenfolge auftreten. Beispielsweise müssen Dienste zur Echtzeit-Betrugsbekämpfung sicherstellen, dass Daten in der richtigen Reihenfolge verarbeitet werden, selbst wenn Daten verspätet ankommen.
Erzielen Sie In‑Memory-Performance mit nacheinander verarbeiteten Datenströmen. Verarbeiten Sie beispielsweise Anfragen von 30 Millionen aktiven Benutzern, die Kreditkartenzahlungen, Überweisungen und Kontostandabfragen durchführen, mit einer Latenz von Millisekunden.
Lösen Sie Ereignisse aus, während Sie Hunderte von Streaming-Quellen und Millionen von Ereignissen pro Sekunde und Stream bearbeiten. Im Falle eines Patienten, der in die Notaufnahme kommt, greift das System beispielsweise auf externe Systeme zu und ruft patientenspezifische Daten aus Hunderten von Quellen ab, sodass sie in einem EMR-Datensatz verfügbar sind, sobald der Patient den Untersuchungsraum betritt.
Streaming-Daten entfalten erst dann ihren Wert, wenn diese Streams auch einfach in andere Data‑at‑Rest-Quellen wie Warehouses, relationale Datenbanken und Data Lakes integriert, mit ihnen verbunden und vernetzt werden können. Konfigurieren Sie Datenanbieter mit sofort einsatzbereiten Konnektoren oder Ihrem eigenen Konnektor für jede Datenquelle. Nach Erstellung der Datenanbieter kann der Benutzer mithilfe von DDL ganz einfach virtuelle Tabellen erstellen. Komplexe Integration zwischen mehreren Streams und Batch-Datenquellen wird mit bekannten SQL-Konstruktionen wie Joins und Aggregationen einfacher.
Streams Messaging
Cloudera Streams Messaging basiert auf Apache Kafka und bietet:
- Streams Messaging Manager für Überwachung/Betrieb von Clustern
- Streams Replication Manager für Bereitstellungen mit hoher Verfügbarkeit und Notfallwiederherstellung
- Schema Registry für zentralisierte Schemaverwaltung
- Kafka Connect für einfache Datenbewegung und Erfassung von Änderungsdaten sowie Cruise Control für intelligentes Rebalancing und Self-Healing
- Unterstützung für Multi-Cloud- und Hybrid-Cloud-Modelle
Unterstützt Millionen von Nachrichten pro Sekunde mit niedriger Latenz und hohem Durchsatz und skaliert elastisch und transparent ohne Ausfallzeiten. Unterstützt eine Vielzahl von Streaming-Daten-Initiativen, die es Unternehmen ermöglichen, mit der Kundennachfrage Schritt zu halten, bessere Dienstleistungen anzubieten und Risiken proaktiv zu steuern.
Der Streams Messaging Manager bietet durchgängige Transparenz und eine zentrale Sicht auf die Datenbewegungen in Kafka-Clustern – zwischen Herstellern, Brokern, Themen und Verbrauchern – und ermöglicht es Ihnen, die Datenherkunft und -steuerung von der Netzwerkperipherie bis in die Cloud zu verfolgen. Zudem vereinfacht er dank intelligenter Filterung und Sortierung die Fehlersuche in Kafka-Umgebungen.
Der Streams Replication Manager, der auf Mirrormaker 2 basiert, bietet eine fehlertolerante, skalierbare und robuste Cluster-übergreifende Kafka-Themenreplikation sowie eine Replikationsüberwachung und Metriken auf Cluster- und Themenebenen. Er bietet Hochverfügbarkeit, Disaster Recovery, Cloud-Migrationen, Geo-Proximity und vieles mehr.
Mit Schema Registry können Sie alle Hersteller- und Kundenschemata in einem gemeinsam genutzten Schema-Repository verwalten, teilen und deren Weiterentwicklung unterstützen. So können Anwendungen in der gesamten Kafka-Landschaft flexibel miteinander interagieren. Mildern Sie Unterbrechungen, die aufgrund von Schema-Abweichungen auftreten, sicher ab.
Mit Cruise Control können Sie große Kafka-Installationen samt Lastausgleich verwalten. Darüber hinaus können Sie Anomalien automatisch erkennen und beheben. Gehen Sie schwierige Probleme wie häufige Ausfälle von Hardware oder virtuellen Maschinen, Cluster-Erweiterungen/-Reduzierungen und Lastdifferenzen zwischen Brokern an.
Cloudera SDX bietet zentrale Sicherheit, Kontrollrichtlinien, Governance und Datenherkunftsnachweise über alle Komponenten hinweg. Sie werden einmal festgelegt, automatisch durchgesetzt und sind anbieterunabhängig, sodass Sie Multi-Cloud- und Hybrid-Cloud-Strategien bedenkenlos übernehmen können. Zudem unterstützt SDX die vier wichtigsten Grundpfeiler der Sicherheit: Identität, Zugriff, Datenschutz und Transparenz.
Alle Daten, überall, mit flexiblen Bereitstellungsoptionen.
Stream Processing in der Cloud
Cloudera verfügt über einen vollständigen Satz integrierter Stream-Verarbeitungsfunktionen, die für eine effiziente Skalierung in der öffentlichen Cloud bereitgestellt werden können.
Cloudera Stream Processing basiert auf Apache Kafka- und Apache Flink-Engines mit Tools der Unternehmensklasse, um die Bereitstellung und Verwaltung zu vereinfachen.
Der Streams Messaging Manager erweitert Apache Kafka um eine Reihe von Funktionen für Schema-Governance und -überwachung, Disaster Recovery, intelligentes Rebalancing sowie robuste Zugriffskontrolle und -prüfung.
SQL Stream Builder erweitert Apache Flink um eine leistungsstarke SQL-Konsole, mit der SQL-Analysten Streaming-Daten abfragen und über die sie zusammenarbeiten können. Außerdem können sie die Verarbeitungslogik von Versionen für nachgelagerte Anwendungen steuern.
Stream-Verarbeitung vor Ort
Cloudera kann vor Ort mit Streaming-Daten bereitgestellt werden, um die Kosten zu kontrollieren und die Latenz für Echtzeit-Pipelines und -Anwendungen zu minimieren. Cloudera Stream Processing integriert Apache Kafka und Apache Flink in die Unternehmenstools, die zur Verwaltung dieser Implementierungen erforderlich sind.
Cloudera Streaming – Kubernetes-Operatoren
Cloudera Stream Processing-Funktionen sind auch als Kubernetes-Operatoren verfügbar, die unabhängig über vorhandene Kubernetes-Cluster bereitgestellt werden können. Dies macht die Bereitstellung und Skalierung von Kafka im Unternehmen noch einfacher. Der Kubernetes-Operator wird mit Kafka, Cruise Control und Zookeeper ausgeliefert und ermöglicht Streaming-Anwendungsfälle in Kubernetes mit einem robusten Message-Broker-Dienst sowie Flink und SQL Stream Builder, die eine moderne verteilte Stream-Verarbeitungs-Engine zum Erstellen von Echtzeit-Streaming-Anwendungen bieten, die nativ auf Containern ausgeführt werden.
Verschaffen Sie sich einen Eindruck von Stream Processing
Cloudera Stream Processing Community Edition
CSP Community Edition erleichtert die Entwicklung von Streamprozessoren und kann direkt von Ihrem Desktop oder jedem anderen Entwicklungsknoten aus durchgeführt werden.
Analysten, Datenwissenschaftler und Entwickler können jetzt neue Funktionen evaluieren und SQL-basierte Streamprozessoren sowie Kafka Consumer/Producer und Kafka-Connect-Konnektoren vor Übergang in die Produktion lokal erstellen.
Mit Stream Processing Community Edition sind Sie in 5 Minuten betriebsbereit.
GigaOm Radar für Streaming-Datenplattformen
Cloudera wurde 2024 zum Marktführer für Streaming-Datenplattformen ernannt.
Sie sind bereit?