Übersicht
Was ist Stream Processing?
Cloudera Stream Processing (CSP) ermöglicht Kunden, Datenströme in Datenprodukte umzuwandeln, indem es Funktionen zur Datenstromanalyse für komplexe Muster und zur Gewinnung verwertbarer Informationen bereitstellt.
CSP basiert auf Apache Flink und Kafka und dient als vollständige Unternehmenslösung für Datenstromverwaltung und zustandsbehaftete Verarbeitung. Dank der Kombination von Kafka als Grundlage für die Speicherung von Datenströmen, Flink als der zentralen Engine für die In‑Stream-Verarbeitung sowie erstklassiger Unterstützung branchenüblicher Schnittstellen wie SQL und REST können Entwickler, Datenanalysten und Datenwissenschaftler ganz einfach hybride Pipelines für Streaming-Daten erstellen, die Echtzeit-Datenprodukte, Dashboards, Business-Intelligence-Anwendungen, Microservices und Data Science Notebooks ermöglichen.
Indem Datenverarbeitungskomponenten weiter nach oben verschoben werden, können die Echtzeit-Anforderungen zahlreicher Anwendungsfälle erfüllt werden – von Betrugserkennung und Netzwerkbedrohungsanalyse über Manufacturing Intelligence und Commerce-Optimierung bis hin zu Echtzeit-Angeboten und sofortigen Kreditgenehmigungen.
HYBRIDE PIPELINES FÜR STREAMING-DATEN
AUF BASIS VON CLOUDERA STREAM PROCESSING
Anwendungsfälle
Betrugserkennung
Kundenanalysen
Marktüberwachung
Protokollanalysen
Betrugserkennung
Vermeiden Sie Verluste in Millionenhöhe, indem Sie Finanzbetrug proaktiv erkennen.
Unternehmen der Einzelhandels-, der Finanzdienstleistungs- und anderer Branchen haben Mühe, Kundendaten zu schützen und Finanzbetrug zu verhindern. Mit den Funktionen von Cloudera Streaming Processing können Kundentransaktionen in Echtzeit verarbeitet, Muster erkannt, vorausschauende Warnungen erstellt und verwertbare Informationen aufgedeckt werden, um potenzielle Betrugsfälle zu verhindern.
Kundenanalysen
Kundenanalysen in Echtzeit verbessern Kundeninteraktionen sowie die Bindung und Zufriedenheit von Kunden.
Jedes Unternehmen ist auf Echtzeit-Analysen angewiesen, um die Kundenbindung zu verbessern. Angesichts übermäßiger Datenmengen tun sich jedoch viele mit der Implementierung entsprechender Lösungen schwer. Cloudera Stream Processing ermöglicht Kundenanalysen durch die Verarbeitung großer Datenmengen mit Latenzen von weniger als einer Sekunde. Gleichzeitig werden Kundeninteraktionen erkannt und bessere Angebotsvorschläge in Echtzeit geliefert.
Marktüberwachung
Wickeln Sie Millionen von Transaktionen pro Sekunde ab und skalieren Sie auf Petabyte an Finanzinformationen.
Kundenanforderungen an Echtzeit-Berichterstattung und schnellere SLA-Bereitstellung stellen Finanzbörsen vor Herausforderungen. Petabytes von Daten müssen verarbeitet werden, um diese Services bereitzustellen. Cloudera Streams Messaging kann problemlos große Datenmengen streamen, sodass Wertpapierbörsen schnell marktgerechte Echtzeit-Analysen erstellen und die immer anspruchsvolleren SLAs erfüllen können.
Protokollanalysen
Modernisieren Sie Ihre Protokollierungsinfrastruktur, um Analysen in Echtzeit zu erhalten.
Protokolldaten werden für Unternehmen immer wertvoller. IT-Organisationen kämpfen jedoch mit der Einführung effektiver Prozesse zur Erfassung von Protokollen, mit der Verteilung von relevanten Informationen in vorgeschalteten Prozessen und mit der Generierung von Schlüsselkennzahlen. Die Funktionen von Cloudera Stream Processing unterstützen den Ausbau der Protokollverarbeitung, liefern Echtzeit-Einblicke im gesamten Unternehmen und sorgen für erheblich geringere Betriebskosten.
Funktionen
-
Streaming Analytics auf Basis von Apache Flink
-
Streams Messaging auf Basis von Apache Kafka
Streaming-Analytics
Cloudera Streaming Analytics basiert auf Apache Flink mit SQL Stream Builder und bietet:
- Funktionen zur latenzarmen Datenstromverarbeitung
- vereinfachte Entwicklung durch mögliche Erstellung von Streaming-Anwendungen mit SQL und APIs nach Branchenstandard über REST-Endpunkte
- erweiterte Fenstertechniken zum Erstellen fortschrittlicher ereignisgesteuerter Analysen
- Unterstützung für Multi-Cloud- und Hybrid-Cloud-Modelle
Der SQL Stream Builder (SSB) ist eine umfassende, interaktive Benutzeroberfläche zum Erstellen von Aufträgen zustandsbehafteter Datenstromverarbeitung mit SQL, die in optimierte Flink-Aufträge konvertiert wird. SQL ermöglicht die unkomplizierte Deklaration von Ausdrücken, um Datenströme zu filtern, zu aggregieren, weiterzuleiten und anderweitig zu verändern. SSB ist eine Schnittstelle zur Auftragsverwaltung, mit der Sie SQL in Streams erstellen und ausführen sowie robuste Daten-APIs für die Ergebnisse erstellen können.
Stellen Sie sicher, dass Daten auch bei Fehlern und Wiederholungen immer exakt einmal verarbeitet werden. So kann etwa ein Finanzdienstleistungsunternehmen mithilfe der Verarbeitung von Datenströmen Hunderte von Backoffice-Transaktionssystemen koordinieren, wenn Verbraucher ihre Hypothek bezahlen.
Erkennen und reagieren Sie auf Streaming-Ereignisse, die in falscher Reihenfolge auftreten. Beispielsweise müssen Dienste zur Echtzeit-Betrugsbekämpfung sicherstellen, dass Daten in der richtigen Reihenfolge verarbeitet werden, selbst wenn Daten verspätet ankommen.
Erzielen Sie In‑Memory-Performance mit nacheinander verarbeiteten Datenströmen. Verarbeiten Sie beispielsweise Anfragen von 30 Millionen aktiven Benutzern, die Kreditkartenzahlungen, Überweisungen und Kontostandabfragen durchführen, mit einer Latenz von Millisekunden.
Lösen Sie Ereignisse aus, während Sie Hunderte von Streaming-Quellen und Millionen von Ereignissen pro Sekunde und Stream bearbeiten. Im Falle eines Patienten, der in die Notaufnahme kommt, greift das System beispielsweise auf externe Systeme zu und ruft patientenspezifische Daten aus Hunderten von Quellen ab, sodass sie in einem EMR-Datensatz verfügbar sind, sobald der Patient den Untersuchungsraum betritt.
Streaming-Daten entfalten erst dann ihren Wert, wenn diese Streams auch einfach in andere Data‑at‑Rest-Quellen wie Warehouses, relationale Datenbanken und Data Lakes integriert, mit ihnen verbunden und vernetzt werden können. Konfigurieren Sie Datenanbieter mit sofort einsatzbereiten Konnektoren oder Ihrem eigenen Konnektor für jede Datenquelle. Nach Erstellung der Datenanbieter kann der Benutzer mithilfe von DDL ganz einfach virtuelle Tabellen erstellen. Komplexe Integration zwischen mehreren Streams und Batch-Datenquellen wird mit bekannten SQL-Konstruktionen wie Joins und Aggregationen einfacher.
Streams Messaging
Cloudera Streams Messaging basiert auf Apache Kafka und bietet:
- Streams Messaging Manager für Überwachung/Betrieb von Clustern
- Streams Replication Manager für Bereitstellungen mit hoher Verfügbarkeit und Notfallwiederherstellung
- Schema Registry für zentralisierte Schemaverwaltung
- Kafka Connect für einfache Datenbewegung und Erfassung von Änderungsdaten sowie Cruise Control für intelligentes Rebalancing und Self-Healing
- Unterstützung für Multi-Cloud- und Hybrid-Cloud-Modelle
Unterstützt Millionen von Nachrichten pro Sekunde mit niedriger Latenz und hohem Durchsatz und skaliert elastisch und transparent ohne Ausfallzeiten. Unterstützt eine Vielzahl von Streaming-Daten-Initiativen, die es Unternehmen ermöglichen, mit der Kundennachfrage Schritt zu halten, bessere Dienstleistungen anzubieten und Risiken proaktiv zu steuern.
Der Streams Messaging Manager bietet durchgängige Transparenz und eine zentrale Sicht auf die Datenbewegungen in Kafka-Clustern – zwischen Herstellern, Brokern, Themen und Verbrauchern – und ermöglicht es Ihnen, die Datenherkunft und -steuerung von der Netzwerkperipherie bis in die Cloud zu verfolgen. Zudem vereinfacht er dank intelligenter Filterung und Sortierung die Fehlersuche in Kafka-Umgebungen.
Der Streams Replication Manager, der auf Mirrormaker 2 basiert, bietet eine fehlertolerante, skalierbare und robuste Cluster-übergreifende Kafka-Themenreplikation sowie eine Replikationsüberwachung und Metriken auf Cluster- und Themenebenen. Er bietet Hochverfügbarkeit, Disaster Recovery, Cloud-Migrationen, Geo-Proximity und vieles mehr.
Mit Schema Registry können Sie alle Hersteller- und Kundenschemata in einem gemeinsam genutzten Schema-Repository verwalten, teilen und deren Weiterentwicklung unterstützen. So können Anwendungen in der gesamten Kafka-Landschaft flexibel miteinander interagieren. Mildern Sie Unterbrechungen, die aufgrund von Schema-Abweichungen auftreten, sicher ab.
Mit Cruise Control können Sie große Kafka-Installationen samt Lastausgleich verwalten. Darüber hinaus können Sie Anomalien automatisch erkennen und beheben. Gehen Sie schwierige Probleme wie häufige Ausfälle von Hardware oder virtuellen Maschinen, Cluster-Erweiterungen/-Reduzierungen und Lastdifferenzen zwischen Brokern an.
Cloudera SDX bietet zentrale Sicherheit, Kontrollrichtlinien, Governance und Datenherkunftsnachweise über alle Komponenten hinweg. Sie werden einmal festgelegt, automatisch durchgesetzt und sind anbieterunabhängig, sodass Sie Multi-Cloud- und Hybrid-Cloud-Strategien bedenkenlos übernehmen können. Zudem unterstützt SDX die vier wichtigsten Grundpfeiler der Sicherheit: Identität, Zugriff, Datenschutz und Transparenz.
Stream Processing in der Cloud
Befreien Sie sich von der Last komplexer Cloud-Konfigurationen und Infrastruktureinrichtungen – mit vollständig sicheren, verwalteten, flexiblen Clustern, die sich in weniger als 10 Minuten in AWS, Azure und GCP aufsetzen lassen.
Streaming-Analytics für den Data Hub
Streaming Analytics für den Data Hub ermöglicht die Einrichtung von Apache Flink und SQL Stream Builder in der Public Cloud und integriert so die Stream-Verarbeitung von Echtzeitdaten über SQL oder Anwendungscode in hybride Cloud-Umgebungen.
Streams Messaging für den Data Hub
Streams Messaging für den Data Hub erweitert Ihre lokale Apache Kafka-Investition durch Einrichtung von Kafka-Clustern in der Public Cloud, die umfassende Unternehmensmanagement-Funktionen im Zusammenhang mit Schema-Governance, Überwachung, Notfallwiederherstellung, intelligentem Rebalancing sowie robuster Zugriffskontrolle und ‑prüfung bieten.
Verschaffen Sie sich einen Eindruck von Stream Processing
