Unterstützung datengesteuerter Unternehmen mit Cloudera Flow Management 4.0 (basierend auf Apache NiFi 2.0)
Apache NiFi ist schon lange eine wichtige Lösung für das Data-Engineering und bietet ein leistungsstarkes, flexibles Framework für die Datenaufnahme, -transformation und -verteilung. Als einer der führenden Akteure von NiFi hat Cloudera maßgeblich dazu beigetragen, die Entwicklung und Einführung von NiFi voranzutreiben. Mit dem neuesten Release von Cloudera Flow Management 4.0 (Technische Vorschau) als erste NiFi 2.0-basierte Cloudera Flow Management-Version freuen wir uns, Ihnen die erweiterten Fähigkeiten vorzustellen und aufzuzeigen, inwiefern Cloudera weiterhin eine führende Rolle im Data-Flow-Management spielt und auch spielen wird.
Die Vorteile von NiFi 2.0 und Cloudera Flow Management 4.0
Cloudera Flow Management 4.0 (basierend auf Apache NiFi 2.0) bietet erhebliche Verbesserungen, darunter z. B.:
Verbesserte Leistung: NiFi 2.0 bietet deutliche Leistungsverbesserungen und kann Data Flows viel effizienter verarbeiten. Außerdem ist eine Skalierung auf größere Workloads möglich. Diese Verbesserungen bieten Benutzern mehr Performance und Zuverlässigkeit bei der Aufnahme, Verarbeitung und Verteilung größerer und komplexerer Datasets.
Optimierte Entwicklung: Die neue Flow-Canvas-Oberfläche und die verbesserte Drag-and-Drop-Funktionalität machen die Flow-Entwicklung schneller und intuitiver. Dies beschleunigt die Flow-Entwicklung erheblich und bereitet so den Weg für Kosteneinsparungen.
Erweiterte Sicherheit: Mit NiFi 2.0 werden erweiterte Sicherheitsfunktionen eingeführt, wie z. B. verbesserte Verschlüsselungs- und Authentifizierungsmechanismen. Dies sorgt für mehr Vertrauen in ein sicheres und zuverlässiges System für die Verarbeitung sensibler Daten.
Erweiterte Integrationen: NiFi 2.0 lässt sich nahtlos in eine umfassendere Palette von Datenquellen und -systemen integrieren, sodass die Lösung in mehr Anwendungsfällen eingesetzt werden kann. Cloudera Flow Management 4.0 behält gezielt Komponenten bei, um die Integration von Anwendungen in Cloudera zu unterstützen, wo viele Komponenten wie Hive und Accumulo in Apache NiFi 2.0 entfernt wurden. Darüber hinaus umfasst Cloudera Flow Management 4.0 neue Integrationen wie Change Data Capture (CDC)-Funktionen für relationale Datenbanksysteme sowie Iceberg. So können Benutzer eigene End-to-End-Systeme sowohl mit Cloudera-Anwendungen als auch mit externen Systemen entwerfen.
Entwicklung nativer Python-Prozessoren: NiFi 2.0 bietet ein Python-SDK, für das Prozessoren schnell in Python entwickelt und in Flows bereitgestellt werden können. In dieser Version sind einige gängige, in Python geschriebene Prozessoren zum Parsen von Dokumenten enthalten. Insbesondere fügt Cloudera Flow Management 4.0 Komponenten für die Einbettung von Daten, die Aufnahme in Vektordatenbanken, die Abfrage mehrerer GenAI-Systeme und die Arbeit mit großen Sprachmodellen (Large Language Models, LLMs) über Amazon Bedrock hinzu. Dies bietet Benutzern eine beeindruckende Reihe von GenAI-Funktionen zur Unterstützung ihrer Geschäftsszenarien.
Best Practices für das Flow-Design: NiFi 2.0 bietet eine Regel-Engine für die Entwicklung von Regeln für die Flow-Analyse, die Best Practices für das Flow-Design empfehlen und auch durchsetzen. Cloudera Flow Management 4.0 umfasst mehrere Flow-Analyseregeln für Aspekte wie Thread-Management und empfohlene Komponenten. Cloudera Flow Management-Administratoren können diese nutzen, um gut gestaltete und solide Flows für ihre Anwendungsfälle zu gewährleisten.
Cloudera und NiFi – kontinuierlicher Support, fortlaufende Innovationen und vereinfachte Migration
Cloudera ist eine treibende Kraft hinter der Entwicklung von NiFi, trägt aktiv zur Open-Source-Community bei und bietet Benutzern fachkundige Anleitungen. Cloudera hat stark in NiFi investiert, um dessen kontinuierliche Weiterentwicklung und Relevanz in der sich ständig verändernden Datenlandschaft sicherzustellen.
Unser Engagement für NiFi zeigt sich auch in unseren Initiativen: Wir beteiligen uns aktiv an der Apache NiFi-Community, tauschen Wissen und Best Practices aus und unterstützen Benutzer durch Mailinglisten, Foren und Veranstaltungen. Abgesehen von unseren Community-Beiträgen ermöglicht der Cloudera Flow Management Operator Kunden die Bereitstellung und Verwaltung von NiFi-Clustern und NiFi Registry-Instanzen auf Kubernetes-Anwendungsplattformen. Der Cloudera Flow Management Operator vereinfacht die Datenerfassung, -transformation und -bereitstellung in Unternehmen. Durch den Einsatz einer containerisierten Infrastruktur rationalisiert der Operator die Orchestrierung komplexer Data Flows.
Cloudera ist der einzige Anbieter mit einem Migrationstool, das den komplexen, sich wiederholenden Prozess der Migration von Cloudera Flow Management-Flows von den NiFi 1-Komponenten zur Umstellung auf NiFi 2-Komponenten vereinfacht. Zu diesem Zweck bietet Cloudera umfassende Schulungs- und Beratungsdienste an, um Unternehmen dabei zu helfen, das volle Potenzial von NiFi auszuschöpfen.
Impulse für die Zukunft des Data Flow-Managements
Mit Cloudera Flow Management 4.0.0 (basierend auf Apache NiFi 2.0) stärkt Cloudera seine Führungsposition im Bereich des Data Flow-Managements. Auch in Zukunft werden wir in die Entwicklung von NiFi investieren, um dafür zu sorgen, dass es ein leistungsstarkes und zuverlässiges Werkzeug für Data Engineers und Data Scientists bleibt. Darüber hinaus ermöglicht Cloudera auch cloudbasierte Bereitstellungen von Cloudera Flow Management, die Ihre betriebliche Effizienz optimieren und Ihnen eine zuverlässige Skalierung entsprechend den Anforderungen Ihres Unternehmens ermöglichen. Einen zentralen Schwerpunkt von Cloudera Flow Management bilden Funktionen, die Ihre KI-basierten Lösungen unterstützen, in diese integriert werden können und sie sogar verbessern. Wir bieten unseren Kunden nach wie vor Unterstützung und Beratung an, um ihnen dabei zu helfen, die volle Leistungsfähigkeit von NiFi zu nutzen, um ihre geschäftskritischen Initiativen im Bereich Daten voranzutreiben.
Weitere Informationen:
Wenn Sie die neuen Funktionen von Cloudera Flow Management kennenlernen und erfahren möchten, wie die Lösung Ihre Datenpipelines transformieren kann, erfahren Sie hier mehr:
