Apache Slider
Ein Framework für YARN-basierte, Anwendungen mit langer Laufzeit in Hadoop
Apache™ Hadoop zieht weiterhin neue Engines für die Ausführung auf der Datenplattform an, da Unternehmen ihre Daten effizient in einem einzigen Repository speichern und gleichzeitig auf unterschiedliche Weise damit interagieren möchten. Sie wünschen SQL, Streaming, maschinelles Lernen und traditionelle Stapelverarbeitung - alles in einem Cluster. Bei vielen dieser Anwendungen muss es sich um „Always-On“- oder „Long-Running“-Dienste handeln, die in der Lage sind, Daten direkt nach Eingang zu verarbeiten.
Slider „verschiebt“ diese Dienste mit langer Laufzeit (wie Apache HBase, Apache Accumulo und Apache Storm) auf YARN, sodass sie über genügend Ressourcen verfügen, um mit wechselnden Datenmengen umzugehen, ohne mehr Verarbeitungsressourcen zu belegen, als sie benötigen.
Was genau macht Slider
Slider ist ein Framework für die Bereitstellung und Verwaltung dieser langfristigen Datenzugriffsanwendungen in Hadoop.
Slider nutzt die Ressourcenverwaltungsfunktionen von YARN, um diese Anwendungen bereitzustellen, ihre Lebenszyklen zu verwalten und sie zu vergrößern bzw. zu verkleinern–selbst während die Anwendung ausgeführt wird. Slider „verschiebt“ diese Dienste mit langer Laufzeit (wie Apache HBase, Apache Accumulo und Apache Storm) auf YARN, sodass sie über genügend Ressourcen verfügen, um mit wechselnden Datenmengen umzugehen, ohne mehr Verarbeitungsressourcen zu belegen, als sie benötigen.
Apache Slider bietet Benutzern in Hadoop die Möglichkeit, mit YARN verschiedene Versionen heterogener Anwendungen mit langer Laufzeit zu erstellen und auszuführen. Jede Anwendungsinstanz kann unterschiedlich konfiguriert und ihre gesamte Nutzungsdauer individuell verwaltet werden. Bei Bedarf kann Slider Anwendungsinstanzen erweitern oder verkleinern, während sie ausgeführt werden. Bei einem Containerausfall nutzt Slider die YARN-Funktionen zur Verwaltung der Anwendungswiederherstellung auf transparente Weise. All dies ist auf Linux- oder Windows-Plattformen verfügbar.
Diese Apache-Slider-Funktionen bieten drei wichtige Vorteile für Unternehmen, die Hadoop ausführen:
| Benefit | Description |
|---|---|
| Turnkey YARN enablement | Enables long-running applications to take advantage of YARN’s benefits without code changes:
|
| Hadoop integration | Applications running with Apache Slider cooperate with the Enterprise Hadoop ecosystem in an integrated way--leveraging Hadoop’s data and processing resources, as well as its security, governance, and operations capabilities |
| Lifecycle management | Automatically makes applications manageable through Apache Ambari without any additional work |
So funktioniert Slider
Apache Slider betrachtet jede Anwendung als eine Reihe von Komponenten, wobei jede Komponente ein Dämon oder eine ausführbare Datei mit eigener Konfiguration, Skripten und Datendateien ist. Komponenten können eine oder mehrere Instanzen haben. Slider verwaltet Anwendungen durch die Verwaltung ihrer Komponenteninstanzen.
Um Instanzen von Anwendungskomponenten zu verwalten, startet Slider für jede Instanz einen YARN-Anwendungsmaster. Nach dem Starten eines Anwendungsmasters kann Slider Ressourcen zuweisen oder die Zuweisung aufheben und eine Anwendungsinstanz stoppen bzw. starten. Dies kann basierend auf der Anforderung des Anwendungsadministrators über den Slider-Client oder über die Ressourcenplanungsvorgaben von YARN erfolgen.