Apache Atlas
Atlas wurde entwickelt, um Metadaten mit anderen Tools und Prozessen innerhalb und außerhalb des Hadoop-Stacks auszutauschen und so plattformunabhängige Governance-Kontrollen zu ermöglichen, die die Compliance-Anforderungen effektiv erfüllen
Apache Atlas bietet skalierbare Governance für Enterprise Hadoop, die auf Metadaten basiert. Atlas ist grundsätzlich darauf ausgelegt, neue Geschäftsprozesse und Datenbestände einfach und flexibel zu modellieren. Dieses flexible Typsystem ermöglicht den Austausch von Metadaten mit anderen Tools und Prozessen innerhalb und außerhalb des Hadoop-Stacks und ermöglicht so plattformunabhängige Governance-Kontrollen, die die Compliance-Anforderungen effektiv erfüllen
Apache Atlas basiert auf zwei Grundsätzen:
- Metadata Truth in Hadoop: Atlas bietet echte Sichtbarkeit in Hadoop. Durch die Verwendung des nativen Konnektors für Hadoop-Komponenten bietet Atlas eine technische und operative Nachverfolgung, die durch taxonomische Metadaten für Unternehmen angereichert ist. Atlas erleichtert den einfachen Austausch von Metadaten, indem es jedem Metadatenkonsumenten ermöglicht, einen gemeinsamen Metadatenspeicher freizugeben, der die Interoperabilität zwischen vielen Metadatenproduzenten erleichtert.
- Offen entwickelt: Techniker von Aetna, Merck, SAS, Schlumberger und Target arbeiten gemeinsam daran sicherzustellen, dass Atlas speziell für die Lösung realer Probleme mit Daten-Governance in verschiedensten Branchen entwickelt wurde, in denen Hadoop eingesetzt wird. Dieser Ansatz ist ein Beispiel für eine Open-Source-Community-Innovation, die die Produktreife und Wertschöpfungsdauer für das Data-First-Unternehmen beschleunigt.
Mit Apache Atlas können Unternehmen ihre Compliance-Anforderungen durch eine skalierbare Reihe von zentralen Governance-Diensten effektiv und effizient erfüllen. Hierzu gehören Dienste wie:
- Data Lineage: Erfasst die Herkunft über Hadoop-Komponenten hinweg auf Plattformebene
- Agile Datenmodellierung: Typsystem, das benutzerdefinierte Metadatenstrukturen in einer Hierarchietaxonomie ermöglicht
- REST -API: Moderner, flexibler Zugriff auf Atlas-Services, HDP-Komponenten Benutzeroberfläche und externe Tools
- Metadatenaustausch: Nutzen Sie vorhandene Metadaten / Modelle, indem Sie sie aus aktuellen Tools importieren. Export von Metadaten in nachgelagerte Systeme
So funktioniert Atlas Works
Apache Atlas dient dem effektiven Austausch von Metadaten innerhalb von Hadoop und dem breiteren Datenökosystem. Das adaptive Modell von Atlas reduziert die Zeit, die ein Unternehmen für die Einhaltung von Vorschriften benötigt, indem vorhandene Metadaten und branchenspezifische Taxonomien genutzt werden. Mit Atlas können Datenadministratoren und -Stewards auch die Erfassung von Beziehungen zwischen Datensätzen und zugrunde liegenden Elementen, einschließlich Quell-, Ziel- und Ableitungsprozessen, definieren, kommentieren und automatisieren.
Zudem Atlas stellt die nachgelagerte Konsistenz von Metadaten im gesamten Ökosystem sicher, indem Unternehmen Metadaten problemlos in Systeme von Drittanbietern exportieren können.