Überbrückung der Kluft zwischen High-Performance-Computing und souveräner KI: Teil drei von drei
Dieser Blogbeitrag ist der letzte einer dreiteiligen Serie: Teil eins behandelt die Grundlagen des High Performance Computing (HPC), und Teil zwei behandelt die Bedeutung eines souveränen Data Lakehouse.
Der Cloudera Vorteil für HPC und souveräne KI
Obwohl ein Data Lakehouse allein HPC nicht unterstützt – HPC-Simulationen erfordern eine wesentlich andere Technologieplattform – ist es die ideale Ergänzung zur Operationalisierung einer ROM-fokussierten Strategie und bietet wesentliche Fähigkeiten (strukturiertes MLOps, Experimentunterstützung, kosteneffektive Datenarchivierung, vereinfachter Zugriff, Collaboration-Toolchain und mehr).
Cloudera schließt auf einzigartige Weise die Lücke zwischen umfangreichen, spezialisierten Physikdaten (HPC) und den agilen Anforderungen des modernen KI-Trainings (MLOps). Durch die Bereitstellung einer cloudunabhängigen, für souveräne Lösungen geeigneten Architektur gewährleistet sie die Einhaltung gesetzlicher Vorschriften und bietet Unternehmen einen sicheren, praktikablen Weg zur Operationalisierung von ROMs.
Cloudera unterstützt diese Konvergenz durch die folgenden spezifischen Funktionen:
1. Datenverarbeitung in großem Maßstab mit souveräner Kontrolle
Die Herausforderung: Wie bereits erwähnt, ist die Speicherung und Verwaltung von Petabytes an historischen FOM-Snapshots (Full Order Model) in herkömmlichen Speichersystemen oft kostspielig und komplex. Ingenieure benötigen jedoch auch eine Möglichkeit, diese riesigen Datensätze mit strengen Governance-Vorgaben zu erfassen, aufzubereiten und zu archivieren, wobei die „operative Souveränität“ gewahrt bleiben muss, um sicherzustellen, dass die Daten die gewünschte Gerichtsbarkeit niemals verlassen.
Die Cloudera-Lösung:
Cloudera DataFlow: Als universelle Ingestion-Engine ermöglicht Cloudera DataFlow Ingenieuren den Aufbau multimodaler Pipelines mit einer No-Code-Erfahrung in einer kollaborativen Umgebung. Sie kann Rohdaten aus Solver-Dateien (CFD-/FEA-Protokolle) einlesen, unstrukturierte Daten in strukturierte Merkmale umwandeln und diese direkt im Objektspeicher des Data Lakehouse (Cloudera Object Storage auf Basis von Apache Ozone) speichern, um bei Bedarf einen einfachen Zugriff für das Training bzw. Retraining von ROMs zu ermöglichen
Herkunft & Prüfung: DataFlow bietet eine integrierte Datenherkunft. Dadurch wird sichergestellt, dass jedes „Feature“, das zum Trainieren eines ROMs verwendet wird, bis zu seiner ursprünglichen Quelldatei zurückverfolgt werden kann, wodurch der für sicherheitskritische Entwicklungen erforderliche Audit-Trail gewährleistet wird.
Cloudera SDX bietet dann ein einheitliches Richtliniendesign und einen Durchsetzungspunkt für Autorisierungsrichtlinien für jeden einzelnen Daten- und KI-Dienst, sodass eine einheitliche Übersicht gewährleistet ist, wenn es darum geht, sicherzustellen, dass der Zugriff auf vertrauliches geistiges Eigentum in den FOM-Datensätzen und ROM-Funktionen kontrolliert wird
2. Präzision und Wiederverwendbarkeit: Team-Tracking von ML-Experimenten
Die Herausforderung: Die Entwicklung präziser ROMs erfordert Hunderte von Iterationen. Ohne ein zentrales Datenerfassungssystem kämpfen F&E-Teams mit einem „Versionschaos“ und verlieren den Überblick darüber, welche Hyperparameter oder Datensätze die besten Ergebnisse lieferten.
Lösung von Cloudera:
Cloudera AI Workbench: Dieser Dienst bietet eine kollaborative Umgebung mit sicheren Open-Source-Notebooks-as-a-Service (Jupyter). Zur weiteren Steigerung der Entwicklerproduktivität bietet die Workbench die Flexibilität, bevorzugte Editoren von Drittanbietern wie VS Code, PyCharm und RStudio entweder im Browser oder als lokale IDEs zu nutzen, die mit den Rechenressourcen der Workbench verbunden sind. Darüber hinaus lässt sich die Workbench nahtlos in MLflow integrieren, sodass Benutzer für jedes ROM-Projekt eine dokumentierte „Source of Truth“ erstellen können, indem sie Hyperparameter, Bewertungsmetriken und die Versionen der Trainingsdatensätze protokollieren, die für jede einzelne Version eines von einem beliebigen Team erstellten KI-Modells verwendet wurden. Damit wird die Transparenz und Wiederverwendbarkeit gefördert, sodass verschiedene Teams eine Modellarchitektur entsprechend ihrer Fachkompetenz problemlos anpassen können.
3. Cloud-ähnliche PaaS-Erfahrung mit vorhersehbaren Kosten
Die Herausforderung: F&E-Teams benötigen sofortigen Zugriff auf Rechenleistung, nicht nur für iteratives Training, sondern auch für die produktionsreife Inferenz von KI-Modellen. Inferenzdienste in der Public Cloud führen aufgrund umfangreicher Inferenzschleifen häufig zu einem „Token-Schock“ oder ausufernden Kosten. Umgekehrt mangelt es On-Premise-IT oft an der nötigen Agilität, um Ressourcen schnell bereitzustellen.
Die Cloudera-Lösung:
PaaS-by-Design-Architektur: Auf Basis von Kubernetes bietet Cloudera eine moderne Multi-Tenant-Plattform, auf der Daten und KI-Dienste von den Anwendern selbst bereitgestellt werden. Die Plattform skaliert sich automatisch entsprechend aktueller Workload-Anforderungen, unabhängig davon, ob sie in einem souveränen Rechenzentrum oder im Rahmen eines Private-Cloud-Abonnements betrieben wird.
Cloudera AI Inference Service: Dieser Dienst ermöglicht es Ingenieuren insbesondere, versionierte Releases von Modellen zusammen mit Standard-REST-APIs für den sofortigen Produktionseinsatz bereitzustellen. Da er auf einer selbst gehosteten Infrastruktur ausgeführt wird, basiert das Abrechnungsmodell auf Rechenstunden (pro GPU/CPU) und nicht auf einem „Pro-Token“-Modell. Dadurch lassen sich Dutzende verschiedener Modelle auf einem einzigen Cluster zusammenfassen, was bei umfangreichen technischen Workloads erhebliche Skaleneffekte mit sich bringt.
4. Vom Rechenzentrum in die physische Welt: Edge-Bereitstellung
Die Herausforderung: Der eigentliche Nutzen eines ROMs kommt oft außerhalb des Rechenzentrums zum Tragen – eingebettet in einer Fertigungshalle oder in der Steuerung eines Kraftwerks für die vorausschauende Wartung in Echtzeit.
Die Cloudera-Lösung:
Cloudera Edge Management: Dieser Dienst ermöglicht es Anwendern, Datenpipelines zu erstellen und zu implementieren, die eine „In-Process“-Modellinferenz direkt auf der Edge-Infrastruktur beinhalten. Mithilfe einer visuellen No-Code-Oberfläche können Ingenieure ihre trainierten ROMs auf ganze Flotten von Remote-Agenten übertragen und so die Verbindung zwischen dem digitalen Zwilling und der physischen Anlage herstellen.
5. Zukunftssicherheit durch offene Standards
Die Herausforderung: Technische Lebenszyklen werden in Jahrzehnten gemessen. Proprietäre Tools oder geschlossene Cloud-Formate bergen ein inakzeptables Risiko der Anbieterabhängigkeit für langfristige Produktdaten.
Die Cloudera-Lösung:
Open Source Core: Die gesamte Daten- und KI-Plattform von Cloudera basiert auf Open-Source-Technologien (z. B. Apache NiFi, Apache Spark, Apache Iceberg, Apache Ozone, CNCF Kubernetes und mehr).
Verbesserte Erfahrung: Durch die Einbindung dieser Standards in eine einheitliche, sichere und benutzerfreundliche Steuerungsebene schließt Cloudera die Lücke zwischen der Freiheit von Open Source und der Benutzerfreundlichkeit, die man von einer modernen Cloud-Plattform erwartet. Dadurch wird sichergestellt, dass Ihr kritisches geistiges Eigentum portabel und für immer zugänglich bleibt.
Am wichtigsten ist die vollständige Souveränität ohne Kompromisse
Im Gegensatz zu anderen konkurrierenden Datalakehouse-Plattformen auf dem Markt – die häufig den Lebenszyklus zwischen proprietären Speichersystemen und Rechenressourcen von Drittanbietern aufteilen oder eine Entscheidung für eine reine Public-Cloud-Lösung erzwingen – bietet Cloudera alle oben genannten Funktionen in einer einzigen, einheitlichen Plattform.
Cloudera kombiniert diese moderne, PaaS-orientierte Benutzererfahrung mit der einzigartigen Flexibilität, die gesamte Plattform in einem vollständig souveränen Rechenzentrum einzusetzen. Dies ermöglicht es Kunden aus dem Bereich der fortschrittlichen Fertigung, die in regulierten Märkten oder an strategisch sensiblen Projekten tätig sind, eine hochmoderne KI-Strategie in einer möglichst sicheren Umgebung umzusetzen – und dabei die strengsten Anforderungen sowohl an die Datenresidenz als auch an die operative Souveränität zu erfüllen.
Nächste Schritte
Die Zukunft von HPC und Unternehmens-KI ist souverän, offen und operativ einheitlich – und diese Zukunft basiert auf Cloudera. Unsere „Private AI Anywhere“-Plattform – die in jeder Cloud und jedem Rechenzentrum läuft – bietet eine durchgängige, kontrollierte Verwaltung aller geschäftskritischen Daten, Modelle, Agenten und Inferenzprozesse, um Souveränität, die Einhaltung gesetzlicher Vorschriften und nachweisbaren geschäftlichen Nutzen in großem Maßstab zu gewährleisten.