small image E-Book: Apache NiFi für Dummies
Übersicht

Was ist Stream Processing?

Cloudera Stream Processing (CSP) ermöglicht Kunden, Datenströme in Datenprodukte umzuwandeln, indem es Funktionen zur Datenstromanalyse für komplexe Muster und zur Gewinnung verwertbarer Informationen bereitstellt.

CSP basiert auf Apache Flink und Kafka und dient als vollständige Unternehmenslösung für Datenstromverwaltung und zustandsbehaftete Verarbeitung. Dank der Kombination von Kafka als Grundlage für die Speicherung von Datenströmen, Flink als der zentralen Engine für die In‑Stream-Verarbeitung sowie erstklassiger Unterstützung branchenüblicher Schnittstellen wie SQL und REST können Entwickler, Datenanalysten und Datenwissenschaftler ganz einfach hybride Pipelines für Streaming-Daten erstellen, die Echtzeit-Datenprodukte, Dashboards, Business-Intelligence-Anwendungen, Microservices und Data Science Notebooks ermöglichen.

Indem Datenverarbeitungskomponenten weiter nach oben verschoben werden, können die Echtzeit-Anforderungen zahlreicher Anwendungsfälle erfüllt werden – von Betrugserkennung und Netzwerkbedrohungsanalyse über Manufacturing Intelligence und Commerce-Optimierung bis hin zu Echtzeit-Angeboten und sofortigen Kreditgenehmigungen.

HYBRIDE PIPELINES FÜR STREAMING-DATEN
AUF BASIS VON CLOUDERA STREAM PROCESSING

Ein Diagramm hybrider Streaming-Pipelines | Cloudera

Anwendungsfälle für Cloudera Stream Processing (CSP)

  • Betrugserkennung
  • Kundenanalysen
  • Marktüberwachung
  • Protokollanalysen

Betrugserkennung


Vermeiden Sie Verluste in Millionenhöhe, indem Sie Finanzbetrug proaktiv erkennen.

Unternehmen der Einzelhandels-, der Finanzdienstleistungs- und anderer Branchen haben Mühe, Kundendaten zu schützen und Finanzbetrug zu verhindern. Mit den Funktionen von Cloudera Streaming Processing können Kundentransaktionen in Echtzeit verarbeitet, Muster erkannt, vorausschauende Warnungen erstellt und verwertbare Informationen aufgedeckt werden, um potenzielle Betrugsfälle zu verhindern.

PT Bank Rakyat Indonesia: Dank Big Data, KI und ML Kunden besser verstehen

Die Bank erreichte einen Rückgang von Betrugsfällen um 40 Prozent.

Lesen Sie die Fallstudie

Kundenanalysen


Kundenanalysen in Echtzeit verbessern Kundeninteraktionen sowie die Bindung und Zufriedenheit von Kunden.

Jedes Unternehmen ist auf Echtzeit-Analysen angewiesen, um die Kundenbindung zu verbessern. Angesichts übermäßiger Datenmengen tun sich jedoch viele mit der Implementierung entsprechender Lösungen schwer. Cloudera Stream Processing ermöglicht Kundenanalysen durch die Verarbeitung großer Datenmengen mit Latenzen von weniger als einer Sekunde. Gleichzeitig werden Kundeninteraktionen erkannt und bessere Angebotsvorschläge in Echtzeit geliefert.

Eine große Fluggesellschaft: Verbessertes Kundenerlebnis mit datengesteuerter Automatisierung

Reduzierung des Datenvolumens um 50 Prozent, da die Übertragung von Datenströmen nur einmal bezahlt wird.

Lesen Sie die Fallstudie

Marktüberwachung


Wickeln Sie Millionen von Transaktionen pro Sekunde ab und skalieren Sie auf Petabyte an Finanzinformationen.

Kundenanforderungen an Echtzeit-Berichterstattung und schnellere SLA-Bereitstellung stellen Finanzbörsen vor Herausforderungen. Petabytes von Daten müssen verarbeitet werden, um diese Services bereitzustellen. Cloudera Streams Messaging kann problemlos große Datenmengen streamen, sodass Wertpapierbörsen schnell marktgerechte Echtzeit-Analysen erstellen und die immer anspruchsvolleren SLAs erfüllen können.

Bombay Stock Exchange: Die weltweit schnellste Börse nutzt Echtzeit-Analysen zur Verbesserung von Data Governance und branchenführenden SLA

Reduzierung der Betriebskosten um 95 %

Lesen Sie die Fallstudie

Protokollanalysen


Modernisieren Sie Ihre Protokollierungsinfrastruktur, um Analysen in Echtzeit zu erhalten.

Protokolldaten werden für Unternehmen immer wertvoller. IT-Organisationen kämpfen jedoch mit der Einführung effektiver Prozesse zur Erfassung von Protokollen, mit der Verteilung von relevanten Informationen in vorgeschalteten Prozessen und mit der Generierung von Schlüsselkennzahlen. Die Funktionen von Cloudera Stream Processing unterstützen den Ausbau der Protokollverarbeitung, liefern Echtzeit-Einblicke im gesamten Unternehmen und sorgen für erheblich geringere Betriebskosten.

Globe Telecom: Ermöglichen Sie den digitalen Lebensstil mobiler Kunden mit einer modernen Analyseumgebung

Ein Volumen von 600 PB mobilen Daten verwalteten

Lesen Sie die Fallstudie

Funktionen von Cloudera Stream Processing (CSP)

  • Streaming Analytics auf Basis von Apache Flink
  • Streams Messaging auf Basis von Apache Kafka

Streaming-Analytics

Cloudera Streaming Analytics basiert auf Apache Flink mit SQL Stream Builder und bietet:

  • Funktionen zur latenzarmen Datenstromverarbeitung
  • vereinfachte Entwicklung durch mögliche Erstellung von Streaming-Anwendungen mit SQL und APIs nach Branchenstandard über REST-Endpunkte
  • erweiterte Fenstertechniken zum Erstellen fortschrittlicher ereignisgesteuerter Analysen
  • Unterstützung für Multi-Cloud- und Hybrid-Cloud-Modelle

Wichtigste Merkmale

Der SQL Stream Builder (SSB) ist eine umfassende, interaktive Benutzeroberfläche zum Erstellen von Aufträgen zustandsbehafteter Datenstromverarbeitung mit SQL, die in optimierte Flink-Aufträge konvertiert wird. SQL ermöglicht die unkomplizierte Deklaration von Ausdrücken, um Datenströme zu filtern, zu aggregieren, weiterzuleiten und anderweitig zu verändern. SSB ist eine Schnittstelle zur Auftragsverwaltung, mit der Sie SQL in Streams erstellen und ausführen sowie robuste Daten-APIs für die Ergebnisse erstellen können.

Stellen Sie sicher, dass Daten auch bei Fehlern und Wiederholungen immer exakt einmal verarbeitet werden. So kann etwa ein Finanzdienstleistungsunternehmen mithilfe der Verarbeitung von Datenströmen Hunderte von Backoffice-Transaktionssystemen koordinieren, wenn Verbraucher ihre Hypothek bezahlen.

Erkennen und reagieren Sie auf Streaming-Ereignisse, die in falscher Reihenfolge auftreten. Beispielsweise müssen Dienste zur Echtzeit-Betrugsbekämpfung sicherstellen, dass Daten in der richtigen Reihenfolge verarbeitet werden, selbst wenn Daten verspätet ankommen.

Erzielen Sie In‑Memory-Performance mit nacheinander verarbeiteten Datenströmen. Verarbeiten Sie beispielsweise Anfragen von 30 Millionen aktiven Benutzern, die Kreditkartenzahlungen, Überweisungen und Kontostandabfragen durchführen, mit einer Latenz von Millisekunden.

Lösen Sie Ereignisse aus, während Sie Hunderte von Streaming-Quellen und Millionen von Ereignissen pro Sekunde und Stream bearbeiten. Im Falle eines Patienten, der in die Notaufnahme kommt, greift das System beispielsweise auf externe Systeme zu und ruft patientenspezifische Daten aus Hunderten von Quellen ab, sodass sie in einem EMR-Datensatz verfügbar sind, sobald der Patient den Untersuchungsraum betritt.

Streaming-Daten entfalten erst dann ihren Wert, wenn diese Streams auch einfach in andere Data‑at‑Rest-Quellen wie Warehouses, relationale Datenbanken und Data Lakes integriert, mit ihnen verbunden und vernetzt werden können. Konfigurieren Sie Datenanbieter mit sofort einsatzbereiten Konnektoren oder Ihrem eigenen Konnektor für jede Datenquelle. Nach Erstellung der Datenanbieter kann der Benutzer mithilfe von DDL ganz einfach virtuelle Tabellen erstellen. Komplexe Integration zwischen mehreren Streams und Batch-Datenquellen wird mit bekannten SQL-Konstruktionen wie Joins und Aggregationen einfacher.

Streams Messaging

Cloudera Streams Messaging basiert auf Apache Kafka und bietet:

  • Streams Messaging Manager für Überwachung/Betrieb von Clustern
  • Streams Replication Manager für Bereitstellungen mit hoher Verfügbarkeit und Notfallwiederherstellung
  • Schema Registry für zentralisierte Schemaverwaltung
  • Kafka Connect für einfache Datenbewegung und Erfassung von Änderungsdaten sowie Cruise Control für intelligentes Rebalancing und Self-Healing
  • Unterstützung für Multi-Cloud- und Hybrid-Cloud-Modelle

Wichtigste Merkmale

Unterstützt Millionen von Nachrichten pro Sekunde mit niedriger Latenz und hohem Durchsatz und skaliert elastisch und transparent ohne Ausfallzeiten. Unterstützt eine Vielzahl von Streaming-Daten-Initiativen, die es Unternehmen ermöglichen, mit der Kundennachfrage Schritt zu halten, bessere Dienstleistungen anzubieten und Risiken proaktiv zu steuern.

Der Streams Messaging Manager bietet durchgängige Transparenz und eine zentrale Sicht auf die Datenbewegungen in Kafka-Clustern – zwischen Herstellern, Brokern, Themen und Verbrauchern – und ermöglicht es Ihnen, die Datenherkunft und -steuerung von der Netzwerkperipherie bis in die Cloud zu verfolgen. Zudem vereinfacht er dank intelligenter Filterung und Sortierung die Fehlersuche in Kafka-Umgebungen.

Der Streams Replication Manager, der auf Mirrormaker 2 basiert, bietet eine fehlertolerante, skalierbare und robuste Cluster-übergreifende Kafka-Themenreplikation sowie eine Replikationsüberwachung und Metriken auf Cluster- und Themenebenen. Er bietet Hochverfügbarkeit, Disaster Recovery, Cloud-Migrationen, Geo-Proximity und vieles mehr.

Mit Schema Registry können Sie alle Hersteller- und Kundenschemata in einem gemeinsam genutzten Schema-Repository verwalten, teilen und deren Weiterentwicklung unterstützen. So können Anwendungen in der gesamten Kafka-Landschaft flexibel miteinander interagieren. Mildern Sie Unterbrechungen, die aufgrund von Schema-Abweichungen auftreten, sicher ab.

Mit Cruise Control können Sie große Kafka-Installationen samt Lastausgleich verwalten. Darüber hinaus können Sie Anomalien automatisch erkennen und beheben. Gehen Sie schwierige Probleme wie häufige Ausfälle von Hardware oder virtuellen Maschinen, Cluster-Erweiterungen/-Reduzierungen und Lastdifferenzen zwischen Brokern an.

Cloudera SDX bietet zentrale Sicherheit, Kontrollrichtlinien, Governance und Datenherkunftsnachweise über alle Komponenten hinweg. Sie werden einmal festgelegt, automatisch durchgesetzt und sind anbieterunabhängig, sodass Sie Multi-Cloud- und Hybrid-Cloud-Strategien bedenkenlos übernehmen können. Zudem unterstützt SDX die vier wichtigsten Grundpfeiler der Sicherheit: Identität, Zugriff, Datenschutz und Transparenz.

Stream Processing in der Cloud


Befreien Sie sich von der Last komplexer Cloud-Konfigurationen und Infrastruktureinrichtungen – mit vollständig sicheren, verwalteten, flexiblen Clustern, die sich in weniger als 10 Minuten in AWS, Azure und GCP aufsetzen lassen.

Streaming-Analytics für den Data Hub

Streaming Analytics für den Data Hub ermöglicht die Einrichtung von Apache Flink und SQL Stream Builder in der Public Cloud und integriert so die Stream-Verarbeitung von Echtzeitdaten über SQL oder Anwendungscode in hybride Cloud-Umgebungen.

Streams Messaging für den Data Hub

Streams Messaging für den Data Hub erweitert Ihre lokale Apache Kafka-Investition durch Einrichtung von Kafka-Clustern in der Public Cloud, die umfassende Unternehmensmanagement-Funktionen im Zusammenhang mit Schema-Governance, Überwachung, Notfallwiederherstellung, intelligentem Rebalancing sowie robuster Zugriffskontrolle und ‑prüfung bieten.

Verschaffen Sie sich einen Eindruck von Stream Processing

Cloudera Stream Processing Community Edition


CSP Community Edition erleichtert die Entwicklung von Streamprozessoren und kann direkt von Ihrem Desktop oder jedem anderen Entwicklungsknoten aus durchgeführt werden.


Analysten, Datenwissenschaftler und Entwickler können jetzt neue Funktionen evaluieren und SQL-basierte Streamprozessoren sowie Kafka Consumer/Producer und Kafka-Connect-Konnektoren vor Übergang in die Produktion lokal erstellen.


Mit Stream Processing Community Edition sind Sie in 5 Minuten betriebsbereit.

Whitepaper

Cloudera bietet heute das beste Kafka-Ökosystem

Datasheet

Datenblatt zur Verarbeitung von Datenströmen

Whitepaper

Apache Kafka mit der Cloudera Data Platform verwalten, überwachen und replizieren

Webinar

So führen Sie NiFi-Flows in Kafka KConnect aus

Erstklassige Schulungen, Support & Services

Your form submission has failed.

This may have been caused by one of the following:

  • Your request timed out
  • A plugin/browser extension blocked the submission. If you have an ad blocking plugin please disable it and close this message to reload the page.